Четене на мисли и изкуствен интелект: Неинвазивно декодиране на мозъчен текст и сензори за архитектури за дълбоко обучение от Meta AI

Konrad Wolfenstein

преди 1 година

Четене на мисли и изкуствен интелект: Неинвазивно декодиране на мозъчен текст и сензори за архитектури за дълбоко обучение от Meta AI – Изображение: Xpert.Digital

Бъдещето на взаимодействието човек-машина е сега – мозъчните сигнали като ключ към комуникацията

Технологии за декодиране на мозък в текст: Сравнение между неинвазивни и инвазивни подходи

Способността за превод на мисли в текст представлява революционен напредък във взаимодействието човек-компютър и има потенциал да подобри фундаментално качеството на живот на хората с комуникационни увреждания. Както неинвазивната технология Brain2Qwerty на Meta AI, така и инвазивната електрокортикография (ECoG) се стремят да постигнат тази цел чрез декодиране на речеви намерения директно от мозъчни сигнали. Въпреки че и двете технологии споделят една и съща всеобхватна цел, те се различават коренно по своя подход, силни и слаби страни. Това цялостно сравнение подчертава ключовите предимства на неинвазивния метод, без да омаловажава ролята и ползите от инвазивните процедури.

Профил на безопасност и клинични рискове: съществена разлика

Най-съществената разлика между неинвазивните и инвазивните мозъчно-компютърни интерфейси (ИМИ) се крие в техния профил на безопасност и свързаните с него клинични рискове. Този аспект е от централно значение, тъй като значително влияе върху достъпността, приложимостта и дългосрочното приемане на тези технологии.

Избягване на неврохирургични усложнения: Неоспоримо предимство на неинвазивните процедури

Електрокортикографията (ECoG) изисква неврохирургична интервенция, при която електродни решетки се имплантират директно върху повърхността на мозъка, под твърдата мозъчна обвивка (най-външната мембрана, покриваща мозъка). Въпреки че се извършва рутинно в специализирани центрове, тази процедура носи присъщи рискове. Статистиката показва от 2 до 5 процента риск от сериозни усложнения след подобни процедури. Тези усложнения могат да обхващат широк спектър, включително:

Вътречерепни кръвоизливи

Кървене в черепа, като субдурални хематоми (събиране на кръв между твърдата мозъчна обвивка и паяжинистата мозъчна обвивка) или интрацеребрални кръвоизливи (кървене директно в мозъчната тъкан), могат да бъдат причинени от самата операция или от наличието на електродите. Това кървене може да доведе до повишено вътречерепно налягане, неврологични дефицити и в тежки случаи дори до смърт.

Инфекции

Всяка хирургична процедура носи риск от инфекция. При имплантиране на ECoG могат да възникнат инфекции на раната, мозъчните обвивки (менингит) или мозъчната тъкан (енцефалит). Такива инфекции често изискват агресивна антибиотична терапия и в редки случаи могат да доведат до трайни неврологични увреждания.

Неврологични дефицити

Въпреки че целта на имплантирането на ECoG е подобряване на неврологичната функция, съществува риск самата процедура или поставянето на електродите да доведат до нови неврологични дефицити. Те могат да се проявят като слабост, загуба на чувствителност, нарушения на говора, гърчове или когнитивно увреждане. В някои случаи тези дефицити могат да бъдат временни, но в други - постоянни.

Усложнения, свързани с анестезията

Имплантацията на ECoG обикновено изисква обща анестезия, която също носи своите рискове, включително алергични реакции, респираторни проблеми и сърдечно-съдови усложнения.

За разлика от това, подходът на Meta AI, базиран на MEG/EEG, напълно елиминира тези рискове. Този неинвазивен метод включва прикрепване на сензори външно към скалпа, подобно на конвенционалното ЕЕГ изследване. Не се изисква хирургическа намеса, като по този начин се избягват всички гореспоменати усложнения. Клиничните изпитвания със системата Brain2Qwerty, проведени с 35 участници, не показват нежелани реакции, изискващи лечение. Това подчертава превъзходния профил на безопасност на неинвазивните методи.

Дългосрочна стабилност и хардуерна повреда: Предимство за хронични приложения

Друг важен аспект по отношение на клиничната приложимост е дългосрочната стабилност на системите и рискът от хардуерна повреда. При ECoG електродите съществува риск те да загубят функционалност с течение на времето поради тъканни белези или деградация на електрода. Проучванията показват, че ECoG електродите могат да имат живот от приблизително 2 до 5 години. След този период може да се наложи подмяна на електрода, което включва друга хирургична процедура и свързаните с нея рискове. Освен това винаги съществува възможност за внезапна хардуерна повреда, която може внезапно да прекрати функционалността на системата.

Неинвазивните системи, като тези, разработени от Meta AI, предлагат ясно предимство в това отношение. Тъй като сензорите са прикрепени външно, те не са подложени на същите процеси на биологично разграждане като имплантираните електроди. Неинвазивните системи предлагат практически неограничени цикли на поддръжка. Компонентите могат да бъдат подменяни или надграждани при необходимост, без да се налага инвазивна хирургия. Тази дългосрочна стабилност е особено важна за хронични приложения, особено за пациенти със синдром на заключено състояние или други хронични парализни състояния, които разчитат на постоянно комуникационно решение. Необходимостта от многократни хирургични интервенции и рискът от хардуерна повреда биха влошили значително качеството на живот на тези пациенти и биха ограничили приемането на инвазивни системи за дългосрочни приложения.

Качество на сигнала и декодиране: Подробно сравнение

Докато безопасността е неоспоримо предимство на неинвазивните методи, качеството на сигнала и получената ефективност на декодиране са по-сложна област, където както инвазивните, така и неинвазивните подходи имат своите силни и слаби страни.

Сравнение на пространствено-времевата резолюция: Прецизност срещу неинвазивност

ECoG системите, при които електродите се поставят директно върху мозъчната кора, предлагат изключителна пространствена и времева резолюция. Пространствената резолюция на ECoG обикновено е в диапазона от 1 до 2 милиметра, което означава, че може да улови невронна активност от много малки и специфични области на мозъка. Времевата резолюция също е отлична, приблизително 1 милисекунда, което позволява на ECoG системите точно да улавят изключително бързи невронни събития. Тази висока резолюция позволява на ECoG системите да постигнат клинично валидирани проценти на грешки в символите (CER) под 5%. Това означава, че от 100 символа, генерирани с ECoG-базирана BCI, по-малко от 5 ще съдържат грешки. Тази висока точност е от решаващо значение за ефективна и плавна комуникация.

Brain2Qwerty, неинвазивната система на Meta AI, понастоящем постига процент на грешки в разпознаването на признаци от 19 до 32%, използвайки магнитоенцефалография (MEG). Въпреки че това са по-високи проценти на грешки в сравнение с ECoG, важно е да се подчертае, че тези резултати се постигат с неинвазивен метод, който не носи хирургически рискове. Пространствената резолюция на MEG е в диапазона от 2 до 3 милиметра, което е малко по-ниско от ECoG, но все пак достатъчно за улавяне на съответните невронни сигнали. Временната резолюция на MEG също е много добра, в милисекундния диапазон.

Въпреки това, Meta AI е постигнал значителен напредък в подобряването на качеството на сигнала и декодирането на неинвазивни системи. Този напредък се основава на три ключови иновации:

Хибридна архитектура на CNN-Transformer

Тази усъвършенствана архитектура комбинира силните страни на конволюционните невронни мрежи (CNN) и трансформаторните мрежи. CNN са особено ефективни при извличането на пространствени характеристики от сложните модели на невронна активност, заснети от MEG и EEG. Те могат да идентифицират локални модели и пространствени взаимоотношения в данните, които са от значение за декодирането на речеви намерения. Трансформаторните мрежи, от друга страна, се отличават с превъзходство в обучението и използването на езиков контекст. Те могат да моделират връзките между думи и изречения на дълги разстояния, като по този начин подобряват прогнозирането на речеви намерения въз основа на контекста. Комбинирането на тези две архитектури в хибриден модел позволява ефективното използване както на пространствени характеристики, така и на езиков контекст, за да се подобри точността на декодиране.

Wav2Vec интеграция

Интегрирането на Wav2Vec, модел за самообучаващо се обучение за речни представяния, представлява друг значителен напредък. Wav2Vec е предварително обучен върху големи количества немаркирани аудио данни, като се учи да извлича стабилни и богати на контекст представяния на речта. Чрез интегрирането на Wav2Vec в системата Brain2Qwerty, невронните сигнали могат да бъдат съпоставени с тези предварително изградени речни представяния. Това позволява на системата да изучава по-ефективно връзката между невронната активност и езиковите модели и да подобрява точността на декодиране. Самообучението е особено ценно, защото намалява необходимостта от големи количества етикетирани обучителни данни, които често са трудни за получаване в невронауката.

Мултисензорно сливане

Brain2Qwerty използва синергични ефекти чрез сливане на MEG и електроенцефалография с висока плътност (HD-EEG). MEG и EEG са допълващи се неврофизиологични техники за измерване. MEG измерва магнитни полета, генерирани от невронна активност, докато EEG измерва електрически потенциали на скалпа. MEG предлага превъзходна пространствена резолюция и е по-малко податлив на артефакти от черепа, докато EEG е по-рентабилен и преносим. Чрез едновременно получаване и сливане на MEG и HD-EEG данни, системата Brain2Qwerty може да използва предимствата на двата метода, като допълнително подобрява качеството на сигнала и производителността на декодиране. HD-EEG системите с до 256 канала позволяват по-детайлно улавяне на електрическата активност на скалпа, допълвайки пространствената прецизност на MEG.

Дълбочина на когнитивното декодиране: Отвъд моторните умения

Ключово предимство на неинвазивните системи като Brain2Qwerty се крие в способността им да надхвърлят простото измерване на активността на моторната кора и да улавят и езикови процеси на по-високо ниво. ECoG, особено когато е поставен в моторни области, измерва предимно активност, свързана с моторното изпълнение на речта, като например движенията на речевите мускули. Brain2Qwerty, от друга страна, чрез използване на MEG и EEG, може също да улавя активност от други мозъчни региони, участващи в по-сложни езикови процеси, като например:

Корекция на печатни грешки чрез семантично предсказване

Brain2Qwerty е способна да коригира печатни грешки, като използва семантично предсказване. Системата анализира контекста на въведените думи и изречения и може да разпознае вероятни грешки и да ги коригира автоматично. Това значително подобрява плавността и точността на комуникацията. Тази способност за правене на семантични прогнози предполага, че системата не само декодира моторните намерения, но и е развила известно разбиране за семантичното съдържание на езика.

Реконструкция на пълни комплекти извън обучителния комплект

Забележителна характеристика на Brain2Qwerty е способността му да реконструира пълни изречения, дори когато тези изречения не са били включени в оригиналния набор от данни за обучение. Това предполага способност за обобщение на системата, която надхвърля простото запаметяване на модели. Системата изглежда е способна да изучава основните езикови структури и правила и да ги прилага към нови и непознати изречения. Това е важна стъпка към по-естествени и гъвкави интерфейси мозък-текст.

Откриване на намерения за абстрактни език

Първоначалните проучвания показват, че Brain2Qwerty постига точност от 40% при откриване на абстрактни речеви намерения при необучени участници. Абстрактните речеви намерения се отнасят до общото комуникативно намерение зад дадено изказване, като например „Искам да задам въпрос“, „Искам да изразя мнението си“ или „Искам да разкажа история“. Способността за разпознаване на такива абстрактни намерения предполага, че неинвазивните информационни икони за комуникация (BCI) един ден може да са в състояние не само да декодират отделни думи или изречения, но и да разбират общото комуникативно намерение на потребителя. Това би могло да положи основите за по-естествени и ориентирани към диалог взаимодействия между човек и компютър.

Важно е да се отбележи, че декодиращата производителност на неинвазивните системи все още не е достигнала нивото на инвазивните ECoG системи. ECoG остава превъзходна по отношение на прецизност и скорост на декодиране. Въпреки това, напредъкът в неинвазивната обработка на сигнали и дълбокото обучение непрекъснато запълва тази празнина.

Мащабируемост и обхват на приложение: достъпност и икономическа ефективност

Освен безопасността и производителността на декодиране, мащабируемостта и приложимостта играят ключова роля за широкото приемане и обществената полза от технологиите за декодиране на мозъчен текст. В тази област неинвазивните системи показват ясни предимства пред инвазивните методи.

Ефективност на разходите и достъпност: Намаляване на бариерите

Ключов фактор, влияещ върху мащабируемостта и достъпността на технологиите, е цената. ECoG системите са свързани със значителни разходи поради необходимостта от хирургическа намеса, специализирано медицинско оборудване и висококвалифициран персонал. Общата цена на ECoG система, включително имплантиране и дългосрочно наблюдение, може да достигне приблизително 250 000 евро или повече. Тези високи разходи правят ECoG системите недостъпни за широката общественост и ограничават използването им до специализирани медицински центрове.

За разлика от това, Meta AI, със своето MEG-базирано решение Brain2Qwerty, се стреми към значително по-ниски разходи. Чрез използването на неинвазивни сензори и възможността за масово производство на MEG устройства, целта е да се намали цената на устройство до под 50 000 евро. Тази съществена разлика в цената би направила неинвазивните BCI достъпни за много по-голям брой хора. Освен това, неинвазивните системи елиминират необходимостта от специализирани неврохирургични центрове. Приложенията биха могли да се правят в по-широк спектър от медицински условия и дори в домашна среда. Това е решаващ фактор за предоставяне на грижи в селските райони и осигуряване на равен достъп до тази технология за хората по целия свят. По-ниските разходи и по-голямата достъпност на неинвазивните системи имат потенциала да трансформират технологията за декодиране на мозъчен текст от специализирано и скъпо лечение в по-широкодостъпно и достъпно решение.

Адаптивна обобщаемост: Персонализация срещу стандартизация

Друг аспект на мащабируемостта е адаптивността и обобщаемостта на системите. ECoG моделите обикновено изискват индивидуално калибриране за всеки пациент. Това е така, защото невронните сигнали, записани от ECoG електродите, са силно зависими от индивидуалната анатомия на мозъка, разположението на електродите и други специфични за пациента фактори. Индивидуалното калибриране може да отнеме много време, изисквайки до 40 часа обучение на пациент. Това усилие за калибриране представлява значителна пречка за широкото използване на ECoG системи.

Brain2Qwerty възприема различен подход, използвайки трансферно обучение, за да намали нуждата от отнемащо време индивидуално калибриране. Системата е предварително обучена върху голям набор от MEG/EEG данни, събрани от 169 индивида. Този предварително обучен модел вече съдържа обширни знания за връзката между невронните сигнали и речевите намерения. За новите участници е необходима само кратка фаза на адаптация от 2 до 5 часа, за да се пригоди моделът към индивидуалните характеристики на всеки потребител. Тази кратка фаза на адаптация позволява постигане на 75% от максималната производителност на декодиране с минимални усилия. Използването на трансферно обучение позволява значително по-бързо и по-ефективно въвеждане в експлоатация на неинвазивни системи, като по този начин допринася за тяхната мащабируемост и широка приложимост. Възможността за прехвърляне на предварително обучен модел на нови потребители е ключово предимство на неинвазивните BCI по отношение на тяхната широка приложимост.

Етични и регулаторни аспекти: Защита на данните и процедури за прием

Разработването и прилагането на технологии за декодиране на мозъчен текст повдига важни етични и регулаторни въпроси, които трябва да бъдат внимателно разгледани. Съществуват и разлики между инвазивните и неинвазивните подходи в тази област.

Защита на данните чрез ограничен добив на сигнала: Защита на поверителността

Етичен аспект, често обсъждан във връзка с мозъчните индукции (BCI), е поверителността на данните и възможността за манипулиране на мислите. Инвазивните ECoG системи, които позволяват директен достъп до мозъчната активност, потенциално представляват по-висок риск от злоупотреба с мозъчни данни. По принцип ECoG системите биха могли да се използват не само за декодиране на речеви намерения, но и за записване на други когнитивни процеси и дори за манипулиране на мислите чрез стимулация в затворен контур. Въпреки че настоящите технологии все още са далеч от подобни сценарии, е важно да се имат предвид тези потенциални рискове и да се разработят подходящи предпазни мерки.

Brain2Qwerty и други неинвазивни системи са ограничени до пасивно придобиване на сигнали за моторно намерение. Тяхната архитектура е проектирана автоматично да филтрира невербалните модели на активност. Заглушените и шумни сигнали, уловени от MEG и EEG поради смущения в скалпа, правят технически по-трудно извличането на подробна когнитивна информация или дори манипулирането на мисли. „Ограниченият добив на сигнала“ на неинвазивните методи може в известен смисъл да се разглежда като защита на личния живот. Важно е обаче да се подчертае, че неинвазивните динамика на мозъчните индукции (BCI) повдигат и етични въпроси, особено по отношение на защитата на данните, информираното съгласие и потенциала за злоупотреба с технологията. От съществено значение е да се разработят етични насоки и регулаторни рамки, които да гарантират отговорното използване на всички видове BCI.

Път за одобрение на медицински изделия: По-бързо подаване на заявление

Регулаторният път за одобрение на медицински изделия е друг важен фактор, влияещ върху скоростта, с която новите технологии могат да бъдат въведени в клиничната практика. Инвазивните ECoG системи обикновено се класифицират като медицински изделия с висок риск, тъй като изискват хирургическа интервенция и потенциално могат да причинят сериозни усложнения. Следователно, одобрението на ECoG системите изисква обширни проучвания Фаза III с подробни данни за дългосрочна безопасност. Този процес на одобрение може да отнеме няколко години и да изисква значителни ресурси.

Неинвазивните системи, от друга страна, потенциално имат по-бърз регулаторен път. В Съединените щати неинвазивните системи, които надграждат и допълват съществуващи ЕЕГ/МЕГ устройства, може да отговарят на условията за одобрение чрез процеса 510(k) на Агенцията по храните и лекарствата (FDA). Процесът 510(k) е опростен път за одобрение на медицински изделия, които са „съществено еквивалентни“ на вече одобрени продукти. Този по-бърз път би могъл да позволи на неинвазивните технологии за декодиране на мозъчен текст да влязат в клинична употреба по-бързо и да облагодетелстват пациентите по-рано. Важно е обаче да се подчертае, че дори за неинвазивните системи са необходими строги доказателства за безопасност и ефикасност за одобрение. Регулаторната рамка за мозъчно-мозъчните индукционни системи (BCI) е развиваща се област и е от съществено значение регулаторните органи, изследователите и индустрията да си сътрудничат, за да разработят ясни и подходящи регулаторни пътища, които насърчават иновациите, като същевременно гарантират безопасността на пациентите.

Ограничения на неинвазивния подход: Техническите предизвикателства остават

Въпреки многобройните предимства на неинвазивните системи за декодиране на мозъчен текст, е важно да се признаят съществуващите технически пречки и ограничения. Тези предизвикателства трябва да бъдат преодолени, за да се реализира напълно потенциалът на неинвазивните BCI.

Латентност в реално време

Brain2Qwerty и други неинвазивни системи понастоящем показват по-висока латентност при декодиране от инвазивните ECoG системи. Brain2Qwerty декодира речевите намерения само след като изречението е приключило, което води до забавяне от приблизително 5 секунди. За сравнение, ECoG системите постигат значително по-ниска латентност от около 200 милисекунди, което позволява комуникация почти в реално време. По-високата латентност на неинвазивните системи се дължи на по-сложната обработка на сигнала и необходимостта от анализ на по-слаби и по-шумни сигнали. Намаляването на латентността е ключова цел за по-нататъшното разработване на неинвазивни BCI, за да се осигури по-плавна и по-естествена комуникация.

Артефакти от движение

MEG системите са силно чувствителни към артефакти от движение. Дори леки движения на главата могат значително да нарушат измерванията и да влошат качеството на сигнала. Следователно, събирането на данни чрез MEG обикновено изисква фиксирана позиция на главата, което ограничава мобилните приложения. Въпреки че ЕЕГ е по-малко податлива на артефакти от движение, мускулните движения и други артефакти все още могат да повлияят на качеството на сигнала. Разработването на надеждни алгоритми за потискане на артефакти и създаването на преносими и толерантни към движение MEG и EEG системи са ключови области на изследване за разширяване на обхвата на приложенията на неинвазивните BCI.

Съвместимост с пациента

Неинвазивните системи, базирани на декодиране на сигнали за намерение за почукване, могат да достигнат своите граници при пациенти с тежко атрофирана моторна кора, каквато се наблюдава в късните стадии на амиотрофична латерална склероза (АЛС). В такива случаи декодирането, базирано на моторно намерение, може да се провали, защото невронните сигнали, свързани с движенията на почукване, са твърде слаби или липсват. За тези групи пациенти може да са необходими алтернативни неинвазивни подходи, като например тези, базирани на декодиране на когнитивни езикови процеси или други модалности като проследяване на очите. Освен това е важно да се вземат предвид индивидуалните различия в мозъчната активност и променливостта в качеството на сигнала между отделните индивиди, за да се направят неинвазивните мозъчно-компютърни интерфейси (ИМИ) достъпни за по-широка популация от пациенти.

Допълващи се роли в невропротезирането: съвместно съществуване и конвергенция

Въпреки съществуващите технически предизвикателства и превъзходната прецизност на инвазивните ECoG системи, неинвазивният подход на Meta AI и други изследователи революционизира ранната интервенционална грижа в областта на невропротезирането. Неинвазивните BCI предлагат предимството, че са с нисък риск и могат да се използват дори в началото на заболяване, като например ALS. Те могат да осигурят ранна комуникационна подкрепа на пациенти с възникващи комуникационни трудности, като по този начин подобрят качеството им на живот и участието им в обществото.

ECoG системите остават незаменими за високопрецизни приложения при напълно парализирани пациенти, особено тези със синдром на заключено състояние, където максималната точност на декодиране и комуникацията в реално време са от решаващо значение. За тази група пациенти потенциалните ползи от инвазивните BCI оправдават по-високите рискове и разходи.

Бъдещето на интерфейсите мозък-компютър може да се крие в сближаването на двете технологии. Хибридните системи, които комбинират предимствата на неинвазивните и инвазивните подходи, биха могли да доведат до нова ера в невропротезирането. Например, такъв хибриден подход би могъл да използва епидурални микроелектроди, които са по-малко инвазивни от ECoG електродите, но все пак предлагат по-високо качество на сигнала от неинвазивните сензори. В комбинация с усъвършенствани алгоритми на изкуствен интелект за обработка и декодиране на сигнали, такива хибридни системи биха могли да преодолеят разликата между инвазивност и точност, позволявайки по-широк спектър от приложения. Непрекъснатото развитие както на неинвазивните, така и на инвазивните технологии за декодиране на мозъчно-текст, заедно с изследването на хибридни подходи, обещава бъдеще, в което хората с комуникационни увреждания имат достъп до ефективни, безопасни и достъпни комуникационни решения.

Свързано с това:

Вашият глобален партньор по маркетинг и бизнес развитие

☑️ Нашият бизнес език е английски или немски

☑️ НОВО: Кореспонденция на родния ви език!