Изследователи от Университета на Сан Франциско успешно разработват „речева невропротеза“, която позволява на човек с тежка парализа да комуникира с изречения – превръщайки сигналите от мозъка му в думи, които се появяват като текст на екрана.

Постижението се основава на повече от десетилетие усилия на неврохирурга от UCSF, Едуард Чанг, да разработи технология, която позволява на хората с парализа да общуват, дори ако не могат да говорят.

„Доколкото ни е известно, това е първата успешна демонстрация на директно декодиране на пълни думи от мозъчната дейност на някой, който е парализиран и не може да говори“, казва Чанг, който е старши автор в изследването. „Това е силно обещание за възстановяване на комуникацията чрез „подслушване“ на естествената речева машина на мозъка.“

Всяка година хиляди хора губят способността си да говорят поради инсулт, злополука или болест. С по-нататъшното развитие подходът, описан в това проучване, може един ден да даде възможност на тези хора да общуват пълноценно.

Превод на мозъчните сигнали в реч 

Преди това работата в областта на комуникационното невропротезиране се фокусира върху възстановяването на комуникацията чрез базирани на писането подходи за изписване на букви една по една в текст.

Изследването на Чанг се различава значително от тези усилия: екипът му превежда сигнали, предназначени да контролират мускулите на гласовата система за изговаряне на думи, вместо сигнали за движение към ръката за писане.

Чанг казва, че този подход включва естествените и плавни аспекти на речта и обещава по-бърза и органична комуникация.

„С речта ние обикновено много по-бързо, до 150 или 200 думи в минута“, казва той, отбелязвайки, че базираните на правописа подходи, използващи въвеждане, писане и управление на курсора, са значително по-бавни и трудоемки. „Преминаването направо към думите, както правим ние, има големи предимства, защото е по-близо до това как обикновено говорим.“

През последното десетилетие напредъкът на Чанг към тази цел е улеснен от пациенти в Центъра за епилепсия на UCSF, които се подлагат на неврохирургия, за да определят произхода на гърчовете си с помощта на електродни решетки, поставени на повърхността на мозъка им.

Тези пациенти, всички с нормална реч, доброволно дават съгласие да се направи анализ на мозъчните им записи за свързана с речта активност. Ранният успех с тези пациенти проправя пътя за настоящото проучване при хора с парализа.

Преди това Чанг и колегите му от UCSF Weill Institute for Neurosciences картографират моделите на кортикалната активност, свързани с движенията на гласовите пътища, които произвеждат всяка съгласна и гласна.

За да превърне тези констатации в разпознаване на пълни думи, д-р Дейвид Моузес, докторантски инженер в лабораторията Чанг, разработва нови методи за декодиране в реално време на тези модели и статистически езикови модели за подобряване на точността.

Но техният успех в декодирането на речта при участници, които могат да говорят, не гарантира, че технологията ще работи при човек, чийто гласов тракт е парализиран.  Освен това екипът не знае дали мозъчните сигнали, контролиращи гласовия тракт, все още функционират при хора, които не могат да движат гласовите си мускули от много години.

„Най-добрият начин да разберете дали това би могло да работи е да опитате“, казва Моузес.

Първите 50 думи 

За да изследва потенциала на тази технология при пациенти с парализа, Чанг си партнира с колегата си Карунеш Гангули, доцент по неврология, за да започне проучване, известно като „BRAVO“ (Brain-Computer Interface Restoration of Arm and Voice).

Първият участник в процеса е мъж в края на 30-те години, претърпял опустошителен мозъчен инсулт преди 15 години, който сериозно е повредил връзката между мозъка му и гласовия му тракт и крайници.

След нараняването си той е имал изключително ограничени движения на главата, врата и крайниците.

Участникът, който иска да бъде наричан BRAVO1, работи с изследователите, за да създаде речник от 50 думи, който екипът на Чанг може да разпознае от мозъчната дейност, използвайки усъвършенствани компютърни алгоритми. Речникът – който включва думи като „вода“, „семейство“ и „добър“ – е достатъчен, за да създаде стотици изречения, приложими в ежедневието на BRAVO1.

За изследването Чанг хирургически имплантира електродна решетка с висока плътност над речевия център на BRAVO1. След пълното възстановяване на участника, екипът записва 22 часа нервна активност в този мозъчен регион в продължение на 48 сесии и няколко месеца. Във всяка сесия BRAVO1 се опитваше да произнесе всяка от 50-те речникови думи много пъти, докато електродите записваха мозъчни сигнали от речевата му кора.

Превод на невронната активност в текст 

За да преведат моделите на записана невронна активност в конкретни смислени думи, другите двама водещи автори на изследването са използвали персонализирани модели на невронна мрежа, които са форми на изкуствен интелект. Когато участникът се опита да говори, тези мрежи разграничават фините модели в мозъчната дейност, за да открият опитите за говор и да идентифицират кои думи се опитва да каже.

За да тества техния подход, екипът първо представя на BRAVO1 кратки изречения, изградени от 50-те лексикални думи и го моли да опита да ги каже няколко пъти. Докато прави опитите си, думите са декодирани от мозъчната му дейност, една по една, на екран.

След това екипът започва да му задава въпроси: „Как си днес?“ и „Искаш ли малко вода?“ Веднага след това отговорите на BRAVO1 се появяват на екрана. „Много съм добре“ и „Не, не съм жаден.“

Екипът установява, че системата е в състояние да декодира думи от мозъчна активност със скорост до 18 думи в минута с до 93 процента точност.

Моузес характеризира ранните резултати от изпитването – които се появяват в New England Journal of Medicine – като доказателство за работещ принцип.

„Бяхме развълнувани да видим точното декодиране на различни смислени изречения“, каза той. „Показахме, че всъщност е възможно да се улесни комуникацията по този начин и че тя има потенциал за използване.“

Чанг и Моузес заявиха, че ще разширят проучването, включвайки повече участници, засегнати от тежка парализа и комуникационен дефицит. В момента екипът работи за увеличаване на броя на думите в наличния речник, както и за подобряване на скоростта на речта.

„Това е важен технологичен крайъгълен камък за хората, който не могат да общуват естествено и показва потенциал този подход да даде глас на хората с тежка парализа и загуба на говор“.

Видео:

Източник: University of California San Francisco