Publicerad den: 16 februari 2025 / Uppdaterad den: 16 februari 2025 – Författare: Konrad Wolfenstein
Tankeläsning och AI: Icke-invasiv avkodning av hjärntext och sensorer för djupinlärningsarkitekturer från Meta AI – Bild: Xpert.Digital
Framtiden för människa-maskin-interaktion är nu – hjärnsignaler som nyckeln till kommunikation
Hjärn-till-text-avkodningstekniker: En jämförelse mellan icke-invasiva och invasiva metoder
Förmågan att översätta tankar till text representerar ett revolutionerande framsteg inom människa-datorinteraktion och har potential att fundamentalt förbättra livskvaliteten för personer med kommunikationsnedsättningar. Både Meta AI:s icke-invasiva Brain2Qwerty-teknik och invasiv elektrokortikografi (ECoG) syftar till att uppnå detta mål genom att avkoda talandenser direkt från hjärnsignaler. Även om båda teknikerna delar samma övergripande mål, skiljer de sig fundamentalt i sina tillvägagångssätt, styrkor och svagheter. Denna omfattande jämförelse belyser de avgörande fördelarna med den icke-invasiva metoden utan att minska rollen och fördelarna med invasiva procedurer.
Säkerhetsprofil och kliniska risker: En avgörande skillnad
Den viktigaste skillnaden mellan icke-invasiva och invasiva hjärn-datorgränssnitt (BCI) ligger i deras säkerhetsprofil och de därmed sammanhängande kliniska riskerna. Denna aspekt är av central betydelse, eftersom den avsevärt påverkar tillgängligheten, tillämpbarheten och den långsiktiga acceptansen av dessa tekniker.
Undvika neurokirurgiska komplikationer: En obestridlig fördel med icke-invasiva ingrepp
Elektrokortikografi (ECoG) kräver neurokirurgiskt ingrepp där elektrodmatriser implanteras direkt på hjärnans yta, under dura mater (det yttersta membranet som täcker hjärnan). Även om denna procedur rutinmässigt utförs på specialiserade centra, medför den inneboende risker. Statistik visar en risk på 2 till 5 procent för allvarliga komplikationer efter sådana ingrepp. Dessa komplikationer kan omfatta ett brett spektrum, inklusive:
Intrakraniella blödningar
Blödning i skallbenet, såsom subdurala hematom (blodansamlingar mellan dura mater och arachnoidea) eller intracerebrala blödningar (blödning direkt i hjärnvävnaden), kan orsakas av själva operationen eller av närvaron av elektroderna. Denna blödning kan leda till ökat intrakraniellt tryck, neurologiska brister och i allvarliga fall till och med dödsfall.
Infektioner
Varje kirurgiskt ingrepp medför en infektionsrisk. Med ECoG-implantation kan infektioner i såret, hjärnhinnorna (meningit) eller hjärnvävnaden (encefalit) uppstå. Sådana infektioner kräver ofta aggressiv antibiotikabehandling och kan i sällsynta fall leda till permanenta neurologiska skador.
Neurologiska underskott
Även om målet med ECoG-implantation är att förbättra neurologisk funktion, finns det en risk att själva proceduren eller placeringen av elektroderna kan leda till nya neurologiska brister. Dessa kan manifestera sig som svaghet, känselbortfall, talsvårigheter, kramper eller kognitiv försämring. I vissa fall kan dessa brister vara tillfälliga, men i andra kan de vara permanenta.
Anestesirelaterade komplikationer
ECoG-implantation kräver vanligtvis narkos, vilket också medför sina egna risker, inklusive allergiska reaktioner, andningsproblem och kardiovaskulära komplikationer.
Däremot eliminerar Meta AI:s MEG/EEG-baserade metod helt dessa risker. Denna icke-invasiva metod innebär att sensorer fästs externt på hårbotten, liknande en konventionell EEG-undersökning. Ingen operation krävs, vilket undviker alla ovannämnda komplikationer. Kliniska prövningar med Brain2Qwerty-systemet, utförda med 35 deltagare, visade inga biverkningar som krävde behandling. Detta understryker den överlägsna säkerhetsprofilen för icke-invasiva metoder.
Långsiktig stabilitet och hårdvarufel: En fördel för kroniska applikationer
En annan viktig aspekt gällande klinisk tillämpbarhet är systemens långsiktiga stabilitet och risken för hårdvarufel. Med ECoG-elektroder finns det en risk att de förlorar funktionalitet med tiden på grund av ärrbildning i vävnaden eller elektrodnedbrytning. Studier tyder på att ECoG-elektroder kan ha en livslängd på cirka 2 till 5 år. Efter denna tid kan elektrodbyte vara nödvändigt, vilket innebär ytterligare ett kirurgiskt ingrepp och dess därmed sammanhängande risker. Dessutom finns det alltid en risk för plötsligt hårdvarufel, vilket abrupt kan avsluta systemets funktionalitet.
Icke-invasiva system, som de som utvecklats av Meta AI, erbjuder en klar fördel i detta avseende. Eftersom sensorerna är externt fästa utsätts de inte för samma biologiska nedbrytningsprocesser som implanterade elektroder. Icke-invasiva system erbjuder praktiskt taget obegränsade underhållscykler. Komponenter kan bytas ut eller uppgraderas efter behov utan att invasiv kirurgi krävs. Denna långsiktiga stabilitet är särskilt avgörande för kroniska tillämpningar, särskilt för patienter med locked-in syndrom eller andra kroniska förlamningstillstånd som är beroende av en permanent kommunikationslösning. Behovet av upprepade kirurgiska ingrepp och risken för hårdvarufel skulle avsevärt försämra dessa patienters livskvalitet och begränsa acceptansen av invasiva system för långsiktiga tillämpningar.
Signalkvalitet och avkodningsprestanda: En detaljerad jämförelse
Medan säkerhet är en obestridlig fördel med icke-invasiva metoder, är signalkvalitet och den resulterande avkodningsprestandan ett mer komplext område där både invasiva och icke-invasiva metoder har sina styrkor och svagheter.
Jämförelse av rumslig-temporal upplösning: Precision kontra icke-invasivitet
ECoG-system, där elektroder placeras direkt på hjärnbarken, erbjuder enastående spatial och temporal upplösning. Den spatiala upplösningen för ECoG ligger vanligtvis i intervallet 1 till 2 millimeter, vilket innebär att den kan fånga neural aktivitet från mycket små och specifika områden i hjärnan. Den temporala upplösningen är också utmärkt, cirka 1 millisekund, vilket gör det möjligt för ECoG-system att exakt fånga extremt snabba neurala händelser. Denna höga upplösning gör det möjligt för ECoG-system att uppnå kliniskt validerade teckenfelfrekvenser (CER) på mindre än 5 %. Det betyder att av 100 tecken som genereras med en ECoG-baserad BCI kommer färre än 5 att innehålla fel. Denna höga noggrannhet är avgörande för effektiv och flytande kommunikation.
Brain2Qwerty, Meta AI:s icke-invasiva system, uppnår för närvarande teckenfel på 19 till 32 % med hjälp av magnetoencefalografi (MEG). Även om dessa är högre felfrekvenser jämfört med ECoG, är det viktigt att betona att dessa resultat uppnås med en icke-invasiv metod som inte medför några kirurgiska risker. Den rumsliga upplösningen för MEG ligger i intervallet 2 till 3 millimeter, vilket är något lägre än ECoG men fortfarande tillräckligt för att fånga relevanta neurala signaler. Den tidsmässiga upplösningen för MEG är också mycket god, i millisekundintervallet.
Meta AI har dock gjort betydande framsteg när det gäller att förbättra signalkvaliteten och avkodningsprestanda hos icke-invasiva system. Dessa framsteg baseras på tre viktiga innovationer:
CNN-Transformer hybridarkitektur
Denna avancerade arkitektur kombinerar styrkorna hos faltningsneurala nätverk (CNN) och transformatornätverk. CNN är särskilt effektiva på att extrahera rumsliga egenskaper från de komplexa mönster av neural aktivitet som fångas upp av MEG och EEG. De kan identifiera lokala mönster och rumsliga relationer i data som är relevanta för avkodning av talintentioner. Transformatornätverk, å andra sidan, utmärker sig på att lära sig och använda språkligt sammanhang. De kan modellera relationerna mellan ord och meningar över långa avstånd, vilket förbättrar förutsägelsen av talintentioner baserat på kontext. Att kombinera dessa två arkitekturer i en hybridmodell möjliggör effektiv användning av både rumsliga egenskaper och språkligt sammanhang för att förbättra avkodningsnoggrannheten.
Wav2Vec-integration
Integreringen av Wav2Vec, en självövervakad inlärningsmodell för talrepresentationer, representerar ytterligare ett betydande framsteg. Wav2Vec är förtränat på stora mängder omärkt ljuddata och lär sig att extrahera robusta och kontextrika representationer av tal. Genom att integrera Wav2Vec i Brain2Qwerty-systemet kan neurala signaler matchas mot dessa förbyggda talrepresentationer. Detta gör att systemet kan lära sig sambandet mellan neural aktivitet och språkliga mönster mer effektivt och förbättra avkodningens noggrannhet. Självövervakat lärande är särskilt värdefullt eftersom det minskar behovet av stora mängder märkt träningsdata, vilket ofta är svårt att få tag på inom neurovetenskap.
Multisensorfusion
Brain2Qwerty utnyttjar synergistiska effekter genom att kombinera MEG och högdensitetselektroencefalografi (HD-EEG). MEG och EEG är kompletterande neurofysiologiska mättekniker. MEG mäter magnetfält som genereras av neuronal aktivitet, medan EEG mäter elektriska potentialer i hårbotten. MEG erbjuder överlägsen spatial upplösning och är mindre känslig för artefakter från skallen, medan EEG är mer kostnadseffektivt och portabelt. Genom att samtidigt samla in och sammanfoga MEG- och HD-EEG-data kan Brain2Qwerty-systemet utnyttja fördelarna med båda modaliteterna, vilket ytterligare förbättrar signalkvaliteten och avkodningsprestanda. HD-EEG-system med upp till 256 kanaler möjliggör en mer detaljerad registrering av elektrisk aktivitet i hårbotten, vilket kompletterar den rumsliga precisionen hos MEG.
Kognitiv avkodningsdjup: Bortom motoriska färdigheter
En viktig fördel med icke-invasiva system som Brain2Qwerty ligger i deras förmåga att gå utöver att bara mäta motorisk cortexaktivitet och även fånga upp språkprocesser på högre nivå. ECoG, särskilt när det placeras i motoriska områden, mäter främst aktivitet relaterad till motorisk utförande av tal, såsom rörelser i talmusklerna. Brain2Qwerty, å andra sidan, kan, genom att använda MEG och EEG, också fånga upp aktivitet från andra hjärnregioner som är involverade i mer komplexa språkprocesser, såsom:
Korrigering av stavfel genom semantisk prediktion
Brain2Qwerty kan korrigera stavfel med hjälp av semantisk prediktion. Systemet analyserar sammanhanget för de inmatade orden och meningarna och kan identifiera sannolika fel och korrigera dem automatiskt. Detta förbättrar kommunikationens flyt och noggrannhet avsevärt. Denna förmåga att göra semantiska förutsägelser tyder på att systemet inte bara avkodar motoriska intentioner utan också har utvecklat en viss förståelse för språkets semantiska innehåll.
Rekonstruktion av kompletta uppsättningar utanför träningsuppsättningen
En anmärkningsvärd egenskap hos Brain2Qwerty är dess förmåga att rekonstruera fullständiga meningar, även om dessa meningar inte inkluderades i den ursprungliga träningsdatauppsättningen. Detta tyder på en generaliseringsförmåga hos systemet som går utöver att bara memorera mönster. Systemet verkar kunna lära sig underliggande språkstrukturer och regler och tillämpa dem på nya och okända meningar. Detta är ett viktigt steg mot mer naturliga och flexibla gränssnitt mellan hjärna och text.
Detektion av abstrakta språkintentioner
Initiala studier har visat att Brain2Qwerty uppnår en noggrannhet på 40 % när det gäller att upptäcka abstrakta talintentioner hos otränade deltagare. Abstrakta talintentioner hänvisar till den övergripande kommunikativa avsikten bakom ett yttrande, såsom "Jag vill ställa en fråga", "Jag vill uttrycka min åsikt" eller "Jag vill berätta en historia". Förmågan att känna igen sådana abstrakta avsikter tyder på att icke-invasiva BCI:er en dag kanske inte bara kan avkoda enskilda ord eller meningar utan också förstå användarens övergripande kommunikativa avsikt. Detta skulle kunna lägga grunden för mer naturliga och dialogorienterade interaktioner mellan människa och dator.
Det är viktigt att notera att avkodningsprestandan hos icke-invasiva system ännu inte har nått nivån för invasiva ECoG-system. ECoG är fortfarande överlägsen när det gäller avkodningsprecision och hastighet. Framsteg inom icke-invasiv signalbehandling och djupinlärning minskar dock stadigt denna klyfta.
Skalbarhet och tillämpningsområde: tillgänglighet och kostnadseffektivitet
Förutom säkerhet och avkodningsprestanda spelar skalbarhet och tillämpbarhet en avgörande roll för den breda acceptansen och samhällsnyttan av tekniker för avkodning av hjärntext. Inom detta område uppvisar icke-invasiva system tydliga fördelar jämfört med invasiva metoder.
Kostnadseffektivitet och tillgänglighet: Minska hinder
En nyckelfaktor som påverkar skalbarheten och tillgängligheten hos tekniker är kostnaden. ECoG-system är förknippade med betydande kostnader på grund av behovet av kirurgi, specialiserad medicinsk utrustning och högkvalificerad personal. Den totala kostnaden för ett ECoG-system, inklusive implantation och långtidsövervakning, kan uppgå till cirka 250 000 euro eller mer. Dessa höga kostnader gör ECoG-system oöverkomliga för allmänheten och begränsar deras användning till specialiserade medicinska centra.
Däremot strävar Meta AI, med sin MEG-baserade lösning Brain2Qwerty, efter betydligt lägre kostnader. Genom att använda icke-invasiva sensorer och möjligheten att massproducera MEG-enheter är målet att minska kostnaden per enhet till under 50 000 euro. Denna betydande kostnadsskillnad skulle göra icke-invasiva BCI:er tillgängliga för ett mycket större antal människor. Dessutom eliminerar icke-invasiva system behovet av specialiserade neurokirurgiska centra. Tillämpningar skulle kunna göras i ett bredare spektrum av medicinska miljöer och till och med i hemmiljöer. Detta är en avgörande faktor för att ge vård till landsbygdsområden och säkerställa rättvis tillgång till denna teknik för människor över hela världen. De lägre kostnaderna och den större tillgängligheten till icke-invasiva system har potential att omvandla teknik för avkodning av hjärntext från en specialiserad och dyr behandling till en mer allmänt tillgänglig och prisvärd lösning.
Adaptiv generaliserbarhet: Personalisering kontra standardisering
En annan aspekt av skalbarhet är systemens anpassningsförmåga och generaliserbarhet. ECoG-modeller kräver vanligtvis individuell kalibrering för varje patient. Detta beror på att de neurala signaler som registreras av ECoG-elektroder är starkt beroende av den individuella hjärnans anatomi, elektrodplacering och andra patientspecifika faktorer. Individuell kalibrering kan vara tidskrävande och kräva upp till 40 träningstimmar per patient. Denna kalibreringsinsats utgör ett betydande hinder för den utbredda användningen av ECoG-system.
Brain2Qwerty har en annan metod och använder överföringsinlärning för att minska behovet av tidskrävande individuell kalibrering. Systemet är förtränat på en stor datamängd av MEG/EEG-data insamlad från 169 individer. Denna förtränade modell innehåller redan omfattande kunskap om sambandet mellan neurala signaler och talanvisningar. För nya deltagare krävs endast en kort anpassningsfas på 2 till 5 timmar för att skräddarsy modellen till varje användares individuella egenskaper. Denna korta anpassningsfas gör det möjligt att uppnå 75 % av maximal avkodningsprestanda med minimal ansträngning. Användningen av överföringsinlärning möjliggör betydligt snabbare och effektivare driftsättning av icke-invasiva system, vilket bidrar till deras skalbarhet och breda tillämpbarhet. Möjligheten att överföra en förtränad modell till nya användare är en viktig fördel med icke-invasiva BCI:er när det gäller deras breda tillämpbarhet.
Etiska och regulatoriska aspekter: Dataskydd och antagningsförfaranden
Utvecklingen och tillämpningen av tekniker för avkodning av hjärntext väcker viktiga etiska och regulatoriska frågor som måste övervägas noggrant. Det finns också skillnader mellan invasiva och icke-invasiva metoder inom detta område.
Dataskydd genom begränsad signalutbyte: Skydd av integritet
En etisk aspekt som ofta diskuteras i samband med BCI:er är dataskydd och möjligheten till tankemanipulation. Invasiva ECoG-system, som möjliggör direkt åtkomst till hjärnaktivitet, utgör potentiellt en högre risk för missbruk av hjärndata. I princip skulle ECoG-system kunna användas inte bara för att avkoda talavsikter utan också för att registrera andra kognitiva processer och till och med för att manipulera tankar genom sluten stimulering. Även om nuvarande teknik fortfarande är långt ifrån sådana scenarier, är det viktigt att ha dessa potentiella risker i åtanke och utveckla lämpliga skyddsåtgärder.
Brain2Qwerty och andra icke-invasiva system är begränsade till passiv insamling av motoriska intentionssignaler. Deras arkitektur är utformad för att automatiskt filtrera bort icke-verbala aktivitetsmönster. De dämpade och brusiga signalerna som fångas upp av MEG och EEG på grund av hårbottenstörningar gör det tekniskt mer utmanande att extrahera detaljerad kognitiv information eller till och med manipulera tankar. Det "begränsade signalutbytet" hos icke-invasiva metoder kan på sätt och vis ses som ett skydd för integriteten. Det är dock viktigt att betona att icke-invasiva BCI också väcker etiska frågor, särskilt när det gäller dataskydd, informerat samtycke och risken för missbruk av tekniken. Det är viktigt att utveckla etiska riktlinjer och regelverk som säkerställer ansvarsfull användning av alla typer av BCI.
Godkännandeprocess för medicintekniska produkter: Snabbare ansökan
Den regulatoriska processen för godkännande av medicintekniska produkter är en annan viktig faktor som påverkar hastigheten med vilken ny teknik kan introduceras i klinisk praxis. Invasiva ECoG-system klassificeras generellt som medicintekniska produkter med hög risk eftersom de kräver kirurgiskt ingrepp och potentiellt kan orsaka allvarliga komplikationer. Därför kräver godkännande av ECoG-system omfattande fas III-studier med omfattande långsiktiga säkerhetsdata. Denna godkännandeprocess kan ta flera år och kräva betydande resurser.
Icke-invasiva system har å andra sidan potentiellt en snabbare regleringsprocess. I USA kan icke-invasiva system som bygger på och kompletterar befintliga EEG/MEG-enheter vara berättigade till godkännande genom Food and Drug Administrations (FDA) 510(k)-process. 510(k)-processen är en förenklad godkännandeprocess för medicintekniska produkter som är "väsentligen likvärdiga" med redan godkända produkter. Denna snabbare process skulle kunna göra det möjligt för icke-invasiva tekniker för avkodning av hjärntext att komma i klinisk användning snabbare och gynna patienter tidigare. Det är dock viktigt att betona att även för icke-invasiva system krävs rigorösa säkerhets- och effektbevis för godkännande. Regelverket för BCI:er är ett område i utveckling, och det är viktigt att tillsynsmyndigheter, forskare och industrin samarbetar för att utveckla tydliga och lämpliga regleringsvägar som främjar innovation samtidigt som patientsäkerheten säkerställs.
Begränsningar med den icke-invasiva metoden: Tekniska utmaningar kvarstår
Trots de många fördelarna med icke-invasiva system för avkodning av hjärntext är det viktigt att erkänna de befintliga tekniska hindren och begränsningarna. Dessa utmaningar måste åtgärdas för att fullt ut förverkliga potentialen hos icke-invasiva BCI:er.
Realtidsfördröjning
Brain2Qwerty och andra icke-invasiva system uppvisar för närvarande högre avkodningslatens än invasiva ECoG-system. Brain2Qwerty avkodar talandenser först efter att en mening är avslutad, vilket resulterar i en fördröjning på cirka 5 sekunder. I jämförelse uppnår ECoG-system en betydligt lägre latens på cirka 200 millisekunder, vilket möjliggör kommunikation i nära realtid. Den högre latensen hos icke-invasiva system beror på den mer komplexa signalbehandlingen och behovet av att analysera svagare och mer brusiga signaler. Att minska latensen är ett viktigt mål för vidareutvecklingen av icke-invasiva BCI:er för att möjliggöra smidigare och mer naturlig kommunikation.
Rörelseartefakter
MEG-system är mycket känsliga för rörelseartefakter. Även små huvudrörelser kan avsevärt störa mätningarna och försämra signalkvaliteten. Därför kräver MEG-baserad datainsamling vanligtvis en fast huvudposition, vilket begränsar mobila tillämpningar. Medan EEG är mindre känsligt för rörelseartefakter, kan muskelrörelser och andra artefakter fortfarande påverka signalkvaliteten. Att utveckla robusta algoritmer för artefaktundertryckning och skapa bärbara och rörelsetoleranta MEG- och EEG-system är avgörande forskningsområden för att utöka användningsområdet för icke-invasiva BCI:er.
Patientkompatibilitet
Icke-invasiva system baserade på avkodning av knackningsintentionsignaler kan nå sina gränser hos patienter med svårt atrofierad motorisk cortex, såsom den som ses i sena stadier av amyotrofisk lateralskleros (ALS). I sådana fall kan motorisk intention-baserad avkodning misslyckas eftersom de neurala signaler som är associerade med knackningsrörelser är för svaga eller frånvarande. För dessa patientgrupper kan alternativa icke-invasiva metoder behövas, såsom de som baseras på avkodning av kognitiva språkprocesser eller andra modaliteter som ögonstyrning. Dessutom är det viktigt att beakta individuella skillnader i hjärnaktivitet och variationen i signalkvalitet mellan individer för att göra icke-invasiva hjärn-datorgränssnitt (BCI) tillgängliga för en bredare patientpopulation.
Kompletterande roller inom neuroproteser: samexistens och konvergens
Trots befintliga tekniska utmaningar och den överlägsna precisionen hos invasiva ECoG-system revolutionerar den icke-invasiva metoden som Meta AI och andra forskare använder tidig interventionsvård inom neuroproteser. Icke-invasiva BCI:er erbjuder fördelen att de är lågriskiga och användbara även vid sjukdomsdebut, såsom ALS. De kan ge tidigt kommunikationsstöd till patienter med framväxande kommunikationssvårigheter, vilket förbättrar deras livskvalitet och deltagande i samhället.
ECoG-system är fortfarande oumbärliga för högprecisionstillämpningar hos helt förlamade patienter, särskilt de med locked-in-syndrom, där maximal avkodningsnoggrannhet och realtidskommunikation är avgörande. För denna patientgrupp motiverar de potentiella fördelarna med invasiva BCI:er de högre riskerna och kostnaderna.
Framtiden för hjärn-datorgränssnitt kan ligga i konvergensen av båda teknikerna. Hybridsystem som kombinerar fördelarna med icke-invasiva och invasiva metoder skulle kunna inleda en ny era inom neuroproteser. Till exempel skulle en sådan hybridmetod kunna använda epidurala mikroelektroder, vilka är mindre invasiva än ECoG-elektroder men fortfarande erbjuder högre signalkvalitet än icke-invasiva sensorer. I kombination med avancerade AI-algoritmer för signalbehandling och avkodning skulle sådana hybridsystem kunna överbrygga klyftan mellan invasivitet och noggrannhet, vilket möjliggör ett bredare spektrum av tillämpningar. Den fortsatta utvecklingen av både icke-invasiva och invasiva hjärntextavkodningstekniker, tillsammans med utforskningen av hybridmetoder, lovar en framtid där personer med kommunikationsnedsättningar har tillgång till effektiva, säkra och tillgängliga kommunikationslösningar.
Lämplig för detta:
Din globala marknadsförings- och affärsutvecklingspartner
☑ Vårt affärsspråk är engelska eller tyska
☑ Nytt: korrespondens på ditt nationella språk!
Konrad Wolfenstein
Jag är glad att vara tillgänglig för dig och mitt team som personlig konsult.
Du kan kontakta mig genom att fylla i kontaktformuläret eller helt enkelt ringa mig på +49 89 674 804 (München) . Min e -postadress är: Wolfenstein ∂ xpert.digital
Jag ser fram emot vårt gemensamma projekt.