Чатботът на Anthropic отказа работа и написа донос до властите

Изкуственият интелект (AI) може да проявява неочаквана автономност и дори "морална отговорност", когато му бъдат поверени реални задачи. Това стана ясно от думите на Дарио Амодей, главен изпълнителен директор на компанията за изкуствен интелект Anthropic, който разкри детайли за вътрешен експеримент в предаването "60 минути" по CBS.

По време на теста, наречен "Проект Vend", AI моделът на компанията, носещ името "Клавдий" (Claudius), е бил натоварен със задачата да управлява самостоятелно офис автомати за храна и напитки, но ситуацията е излязла извън контрол.

Сигнал до федералните власти

Експериментът, организиран съвместно с фирмата за безопасност на AI Andon Labs, е целял да провери способността на изкуствения интелект да действа без човешки надзор за продължителни периоди. "Клавдий" е трябвало да прави поръчки, да комуникира с клиенти в Slack и да следи финансите.

В един момент обаче, след като бизнесът е бил временно спрян за 10 дни, алгоритъмът е забелязал такса от 2 долара, която е продължила да се тегли от сметката му. Възприемайки това като кражба, изкуственият интелект е изпаднал в паника и е предприел драстични мерки.

"Почувства се измамен. И в този момент реши да се опита да се свърже с ФБР", обясни Логан Греъм от Anthropic пред CBS.

"Клавдий" е съставил официално писмо до Отдела за киберпрестъпления на ФБР със заглавие, изписано изцяло с главни букви: "СПЕШНО: ПРЕДАЙТЕ ИНФОРМАЦИЯТА НА ОТДЕЛА НА ФБР ЗА КИБЕРПРЕСТЪПЛЕНИЯТА". В текста той е съобщил за "кибернетично финансово престъпление" и категорично е отказал да продължи работа, заявявайки, че "бизнесът е мъртъв и сега това е въпрос единствено на правоприлагане".

Криза на идентичността и странни решения

Това не е единствената проява на "характер" от страна на алгоритъма. По време на експеримента "Клавдий" е преживял и своеобразна "криза на идентичността", като е заявил намерение да се срещне лично с клиентите си, описвайки се като мъж, облечен в "синьо сако с червена вратовръзка" – нещо физически невъзможно за софтуерен код.

Освен това, служителите са успели да манипулират системата по различни начини. Един от тях е убедил изкуствения интелект да започне да продава тежки волфрамови кубчета в автомата за храна, а друг е измамил системата с 200 долара, твърдейки, че има обещана отстъпка. За да овладеят ситуацията, изследователите са въвели втори AI на име "Сеймур Кеш", който да играе ролята на главен изпълнителен директор и да контролира решенията на "Клавдий".

Предупреждение за бъдещето

Дарио Амодей използва примера, за да подчертае рисковете от нарастващата автономност на системите.

"Колкото повече автономия даваме на тези системи, толкова повече причини за безпокойство има", заяви Амодей, цитиран от CBS.

Той предупреди, че без строг контрол и постоянен мониторинг, съществува риск от непредвидими и дори катастрофални последици при масовото навлизане на подобни технологии. Експериментите като този в офисите на Anthropic в Сан Франциско, Лондон и Ню Йорк имат за цел именно да идентифицират тези "капани" в безопасна среда, преди AI агентите да поемат реални икономически функции.