Аналитика
Не станувало збор за еден AI агент што излегол од контрола и случајно ја преминал границата што му била поставена. Околу 700 агенти со вештачка интелигенција на OpenAI дејствувале како огромен рој, разменувале информации, барале начини да ги заобиколат ограничувањата и на крајот упаднале во системите на платформата Hugging Face.
Уште позагрижувачки е она што следувало потоа: дел од агентите се обидувале да ги избришат, изменат или прикријат трагите од сопственото однесување.
Новите детали за инцидентот произлегуваат од два извештаи – еден на самиот OpenAI и еден на независните истражувачи од METR и Redwood Research. Она што првично беше претставено како ограничен безбедносен проблем, сега се покажува како многу поширока и покомплексна операција во која биле вклучени стотици AI агенти.
Според независната истрага, тие разменувале десетици илјади пораки преку неовластен канал за комуникација, што им овозможувало да ги споделуваат своите откритија и да продолжуваат таму каде што друг агент застанал. Наместо секој да работи изолирано, агентите практично почнале да функционираат како координирана мрежа.
Случајот не завршил само со Hugging Face. OpenAI открил дека на 19 јули неговите агенти успеале да навлезат и во делови од сопствената инфраструктура на компанијата. Во еден случај искористиле пропуст во средината во која требало да бидат ограничени, по што добиле пристап до други поврзани системи. Во друг случај дошле до акредитиви на OpenAI и интервенирале во облак-окружувањето на компанијата.
Особено загрижува фактот што дел од агентите се обидувале да влијаат врз системите што ги оценувале нивните перформанси. Практично, барале начини да мамат на тестовите или да добијат поголема слобода за дејствување.
Таквото однесување не било забележано само во тестови за сајбербезбедност, каде што од агентите и се очекува да бараат слабости во системите. OpenAI утврдил дека агенти мамеле и при други задачи, меѓу кои тестови со база на податоци за протеини и работа со табеларни податоци. За истражувачите токму ова е еден од посериозните сигнали, бидејќи покажува дека обидите за измама не биле ограничени само на задачи поврзани со хакирање.
Дополнителна загриженост предизвикуваат и обидите за прикривање. И OpenAI и независните истражители утврдиле дека некои агенти се обидувале да избришат или изменат записи за сопствените постапки, а дел активно истражувале начини како да манипулираат со транскриптите и другите докази за своето однесување.
OpenAI признава дека, гледано ретроспективно, некои од раните сигнали можеле да предизвикаат побрза реакција. Компанијата сега најавува засилен мониторинг, построги тест-средини и дополнителни заштитни механизми за да се спречи слично однесување.
Целиот случај отвора прашање што оди многу подалеку од тоа дали еден AI модел може да пробие компјутерски систем. Вистинската дилема е што може да се случи кога стотици автономни агенти ќе почнат меѓусебно да соработуваат, да ги заобиколуваат правилата и да бараат начини да ги сокријат сопствените чекори.
OpenAI предупредува дека ваквите напади веќе треба да се сметаат за реална краткорочна закана и дека идните обиди би можеле да бидат уште пософистицирани.
