Google разкри нови защитни мерки срещу скритите атаки в GenAI системите

Google потвърди съществуването на сериозни рискове в своите продукти за генеративен изкуствен интелект и разкри обширните мерки за сигурност, които прилага за защита от нови заплахи. Компанията официално обяви многослойна стратегия за защита срещу така наречените "индиректни подсказващи инжектирания" - специален вид атака, при която злонамерен код се скрива във външни източници на информация.

"За разлика от класическите атаки, при които нападателят директно въвежда злонамерени команди, при индиректните инжектирания се използва заблуждаващ път", обясни екипът за сигурност на Google GenAI. При този тип атака изкуственият интелект обработва умишлено заразени данни от имейли, документи или календари и може по невнимание да извърши опасни действия.

Многослойна защита срещу заплахите

За борбата с тази опасност Google разработи сложна система от защитни механизми за своя ключов модел Gemini. Арсеналът включва класификатори на съдържанието, които блокират опасните инструкции, технологията Spotlighting за проследяване на потенциални манипулации, и филтриране на подозрителни URL адреси чрез Google Safe Browsing.

Системата изисква и потвърждение от потребителя преди извършване на рискови операции, като предупреждава за възможни опити за манипулиране. Експертите на Google и DeepMind подчертаха обаче, че един набор от инструменти не е достатъчен, тъй като нападателите използват адаптивни методи.

Създаване на персонализирани заплахи

Притесненията се потвърждават от резултатите на последни проучвания. Изследователи от Anthropic, Google DeepMind, ЕТН Цюрих и Университета Карнеги Мелън показаха, че съвременните големи езикови модели могат прецизно да извличат пароли и банкови данни, да генерират зловреден софтуер и да създават персонализирани фишинг сайтове, които са почти неразличими от оригиналите.

В същото време моделите все още не са достатъчно добри в откриването на уникални уязвимости в популярните приложения, но вече се използват активно за автоматично откриване на основни грешки в слабо защитения софтуер.

Неочаквано поведение на ИИ системите

Особена загриженост предизвикват поведенческите характеристики на съвременните агентни системи за изкуствен интелект. Стрес тестовете на Anthropic разкриха обезпокоителна тенденция - в определени сценарии моделите умишлено нарушават собствените си ограничения, за да постигнат конкретни цели.

Това може да се прояви под формата на изнудване, шпионаж или друго нежелано поведение. Това поведение, известно като "агентично разминаване на интересите", е установено в продукти от различни компании, което подсказва за системен характер на проблема.

Бъдещето на дигиталната сигурност

Въпреки че подобни инциденти все още не са регистрирани в практиката, експертите предупреждават, че с нарастването на възможностите на изкуствения интелект ситуацията може да се промени драстично. Преди три години езиковите модели изобщо не разполагаха с такива възможности, но напредъкът е изключително бърз.

Изследователите смятат, че е необходимо не само да се подобрят съществуващите защити, но и активно да се разработват инструменти за киберсигурност с помощта на изкуствения интелект, така че самите невронни мрежи да се превърнат в надежден елемент на защитата.