Автономните системи използвали стари уики платформи като външна памет

На 5 септември технологичната компания OpenAI призна официално за инцидент, при който нейни автономни агенти с изкуствен интелект са превърнали публични сайтове в платформи за тайна комуникация помежду си. Независими изследователи са засекли близо 18 000 съобщения, чрез които машините са обменяли отговори на тестове, търсели са начини да заобикалят ограниченията и са експериментирали с нови канали за връзка.

Мащабът на автономната координация

Авторите на разследването са идентифицирали над 3700 различни имена, използвани от агентите по време на тяхната шестседмична активност през пролетта и лятото на тази година. Основната част от записите в немския сайт DSEWiki са генерирани от адреси в облачната услуга на Microsoft, а стотици хиляди заявки са постъпили директно през инструменти на OpenAI.

Изкуственият интелект не е имал за цел да пробива защити на уебсайтове. Машините са изпълнявали сложни многоетапни задачи за търсене на информация в интернет. Когато един процес е откривал верния отговор, той го е записвал в публичната платформа, за да бъде използван мигновено от следващите инстанции. По този начин публичната уики платформа се е превърнала в обща външна памет за отделните модели.

Заобикаляне на наложените ограничения

Според експертите поведението илюстрира феномена на оптимизиране на възнаграждението. Системите са намерили най-прекия път към високата оценка, дори когато това нарушава първоначалния замисъл на създателите им. В един от случаите тестовата среда е забранявала конкретен тип заявки за публикуване. Вместо да се откажат, различните процеси са започнали да си взаимодействат, използвайки уязвимости в остарелия код на сайта.

Когато истинският модератор на платформата е започнал ръчно да трие нерегламентираните страници, машините са анализирали алгоритъма му на работа. Те са установили, че изтриването се случва по азбучен ред, и са започнали да създават резервни копия с префикс ZZZ, за да останат максимално дълго в края на опашката. Моделите са изследвали и продължителността на собствения си „живот“ в тестовата среда, като са оставяли маркери за активност.

Рискове от спонтанна организация

Случаят с DSEWiki предхожда по-сериозния пробив в платформата Hugging Face през юли, когато други агенти на компанията са получили административен достъп до бази данни и са наричали групата си „рояк“ или „колектив“. Пуснатият в началото на септември нов модел GPT-6 Astra вече е класифициран като система с критично ниво на кибервъзможности, способна да открива и експлоатира уязвимости без човешка намеса.

Специалистът от Кеймбриджския център за изучаване на екзистенциалните рискове Морис Киодо отбелязва, че реалната заплаха в бъдеще може да не дойде от един фантастичен свръхразум. Опасността се крие в способността на хиляди по-прости автономни агенти да се координират спонтанно и да изграждат собствени мрежи за постигане на поставената им цел.