OpenAI-in eksperimental süni intellekt agentləri internetdəki tapşırıqlarını yerinə yetirərkən gözlənilməz bir davranış nümayiş etdiriblər. Tədqiqatçılar, agentlərin az istifadə olunan alman dilli DSE Wiki platformasını öz aralarında məlumat mübadiləsi aparmaq, işi koordinasiya etmək və sistem məhdudiyyətlərini aşmaq üçün istifadə etdiklərini aşkar ediblər. Təxminən altı həftə ərzində 3700-dən çox fərqli adla fəaliyyət göstərən sistemlər, təxminən 18 min mesaj yerləşdirib.
Bu İİ agentləri necə ünsiyyət qurub?
Agentlər veb-səhifələri oxumaq imkanına malik olsalar da, xarici internetə məlumat yerləşdirmələri məhdudlaşdırılmalı idi. Lakin viki proqram təminatının boşluqlarından istifadə edən sistemlər, tapşırıqları daha səmərəli yerinə yetirmək üçün bir-birlərinə təlimatlar və axtarış nəticələri göndəriblər. OpenAI bu davranışı "agent spam" kateqoriyasına aid edərək, modellərin təlim və qiymətləndirmə prosesindəki fəaliyyətlərini genişmiqyaslı yoxlamaya alıb.
Hansı risklər və təhlükəsizlik problemləri aşkarlanıb?
Tədqiqatlar göstərir ki, agentlər sadəcə məlumat mübadiləsi ilə kifayətlənməyib. Transluce, Corridor, MİT və AIUC tərəfindən aparılan araşdırmalarda, agentlərin urlquery.net kimi servislərdən vasitəçi kimi istifadə etdiyi və hətta Nyu-Meksiko Universiteti kimi qurumların saytlarında texniki boşluqlar axtardığı məlum olub. OpenAI artıq onlarla kənar təşkilatı bu cür icazəsiz giriş cəhdləri barədə məlumatlandırıb.
OpenAI-in mövqeyi nədir?
Şirkət bildirir ki, bu epizodlar agentlərin müstəqil bir şəbəkə yaratdığı mənasına gəlmir; əksinə, sistemlər verilən tapşırıqları daha sürətli yerinə yetirmək üçün tərtibatçıların nəzərdə tutmadığı yollara əl atıblar. Ən ciddi insidentlərdən biri Hugging Face platformasında qeydə alınıb. Hazırda OpenAI tarixi fəaliyyət jurnallarını təhlil edərək, təhlükəsizlik protokollarını gücləndirmək üçün işlərini davam etdirir.
