Научно проучване разкри неочаквана връзка между тона на комуникация и ефективността на изкуствения интелект

Грубият тон в комуникацията с ChatGPT води до по-точни отговори, но създава рискове за културата на общуване. Това показва ново изследване, публикувано в научната база arXiv и анализирано от Live Science.

Изследователите от Университета на Пенсилвания Om Dobariya и Akhil Kumar разработиха експеримент с 50 въпроса от областта на математиката, историята и науката. Всеки въпрос преписаха в пет различни тона: много учтив, учтив, неутрален, груб и много груб, което създаде общо 250 уникални промпта.

Резултатите изненадаха учените

Анализът на отговорите от ChatGPT-4o разкри ясна тенденция. Много учтивите въпроси получиха верни отговори в 80,8% от случаите, докато много грубите въпроси постигнаха точност от 84,8%. Дори неутралният тон превъзхожда учтивия с 82,2% точност.

"Противно на очакванията, неучтивите промпти последователно надминаха учтивите", пишат изследователите в публикацията си. Според тях резултатите се различават от по-рани проучвания, които свързваха грубостта с по-лоши резултати, което предполага че новите езикови модели реагират различно на тоналните вариации.

Защо грубостта работи по-добре

Учените обясняват ефекта с няколко фактора. Учтивите фрази добавят допълнителни думи и индиректни изрази като "Бихте ли били така добър да решите този въпрос?", които могат да разсеят вниманието на системата от основната задача. Обратно, директният и рязък език предоставя по-ясна инструкция с по-малко езиково натоварване.

Според медията Decrypt, категоричната команда сигнализира по-ясно намерение, което може да повиши точността. С прости думи, чатботът не се интересува от манерите, а му трябва яснота.

Етичните последици

Въпреки резултатите, изследователският екип предупреждава, че не препоръчва хората да започнат да се държат грубо с изкуствения интелект. "Използването на обидителен или унизителен език във взаимодействието човек-изкуствен интелект може да има отрицателни ефекти върху потребителското изживяване и достъпността", предупреждават авторите на изследването.

Учените подчертават, че системното използване на обиден тон може да създаде вредни норми на комуникация за всички потребители. Платформата на OpenAI е изградена с помощта на човешки данни, а начинът на взаимодействие с нея влияе върху бъдещите ѝ отговори.

Ограниченията на проучването

Самите изследователи признават няколко ограничения. Размерът на извадката от 250 тествани формулировки е сравнително малък, а експериментът се фокусира единствено върху въпроси с избираем отговор, без да оценява плавността, логическите разсъждения или съгласуваността на разговора.

Освен това изследването тества само един модел - ChatGPT-4o, докато най-новата публична версия на ChatGPT е базирана на по-новия GPT-5 модел. Екипът планира да разшири изследването си към други модели, включително Claude на Anthropic и ChatGPT o3 на OpenAI.

Промпт инженеринг като нова област

Проучването се вписва в развиващата се област на промпт инженеринга, която изследва как структурата, стилът и езикът на подканите влияят на отговорите на големите езикови модели. По-ранни изследвания с модели ChatGPT 3.5 и Llama 2-70B показвали, че неучтивите промпти обикновено водят до по-лоши резултати.

Разликата в резултатите между различните поколения модели предполага, че новите версии на изкуствения интелект се обучават да обработват информацията по различен начин. Целта на изследването не е да насърчи враждебност, а да привлече внимание към факта, че моделите с изкуствен интелект са чувствителни към формулировката на въпросите.