Технология превръща мислите в думи на испански и английски

Пациент, който загуби способността да говори след два инсулта на 20-годишна възраст, успя да възвърне познанията си по английски и испански език благодарение на революционен мозъчен имплант. Изследването, публикувано в списанието Nature Biomedical Engineering през май 2024 година, представлява първият успешен опит за създаване на двуезична система за възстановяване на речта.

Болният с квадриплегия, известен под псевдонима Панчо, не загуби езиковите функции на мозъка си и успя да запази в малка степен контрола над речевия си апарат. Това направи възможно многоезичното предаване на реч с мозъчния имплант, разработен от екип неврохирурзи и специалисти по изкуствен интелект от Калифорнийския университет.

"Новото проучване е важен принос към разрастващата се област на невропротезирането за възстановяване на речта", заяви д-р Сергей Стависки, невролог от Калифорнийския университет в Сан Диего.

Как работи технологията

Всичко започна, когато Панчо се срещна с неврохирурга Едуард Чанг, за да проучи дългосрочните ефекти от инсулта върху мозъка му. В изследване от 2021 година Чанг и неговият екип имплантираха интерфейс мозъчен компютър със 128 електрода в областта на мозъчната кора, отговорна за обработката на езика.

Данните, събрани от интерфейса, се преобразуват в думи, които могат да се прочетат на екрана. След това екипът разработи система с изкуствен интелект под ръководството на Александър Силва. Тя дешифрира думите, които Панчо иска да каже, в реално време.

За да направят това, изследователите започнаха с интегриране на 50 испански думи, 51 английски думи и три думи с идентично произношение на двата езика. Постепенно разшириха речника на интерфейса. Докато системата се обучаваше, пациентът виждаше думите една по една на екрана и се опитваше да ги произнесе.

Двуезичното разпознаване

За първата дума от изречението системата избира модул - испански или английски, който съответства на невронната верига и оценява вероятността за съвпадение. Например модулът за английски език може да избере думата "She" като най-вероятната първа дума в изречение и да оцени вероятността ѝ за съвпадение на 70 процента. Испанският модул от друга страна може да избере думата "estar" и да оцени вероятността ѝ за съвпадение на 40 процента.

После и двата модула се опитват да съставят изречение. Въз основа на невронната верига и двата модула отчитат вероятността втората избрана дума да последва първата. Така пациентът най-накрая успя да проведе разбираеми разговори с изследователския екип с точност от 75 процента.

Неочаквани открития

Резултатите от изследването позволиха на учените да открият неочаквани аспекти на обработката на езика в мозъка. Те установиха, че когато пациентът говореше испански или английски, беше засечена активност в една и съща област на мозъка.

Неврологичните реакции на Панчо в тестовете също не се различаваха от тези на двуезичните деца, въпреки че той беше на тридесет години, когато научи английски. Предполага се, че различните езици споделят общи неврологични характеристики.

"След първия път, когато направихме едно от тези изречения, имаше няколко минути, в които просто се усмихвахме", сподели Александър Силва, водещ автор на изследването.

Бъдещи перспективи

Въпреки че проучването все още е експериментално, "има всички основания да се смята, че тази стратегия ще работи с по-голяма прецизност в бъдеще, когато се комбинира с други скорошни постижения", обяснява неврологът д-р Стависки.

Колегата му Кенджи Кансаку от Медицинския университет Докьо в Мибу, Япония, смята, че следващата стъпка трябва да бъде изучаването на езици "чиито артикулационни свойства са много различни" от английския, като например мандарин или японски.

Вече се работи не само по този въпрос, но и по "превключването на кодове" - от един език на друг в рамките на едно изречение. Тази технология има потенциал да помогне на милиони хора по света, които са загубили способността си да говорят.