Publicerad den: 19 maj 2025 / Uppdaterad den: 19 maj 2025 – Författare: Konrad Wolfenstein
Hur AI lär sig som en hjärna: En ny metod för AI-system att lära sig över tid – Sakana AI och Continuous Thought Machine – Bild: Xpert.Digital
Omtolkning av mänskligt tänkande: Sakana AI:s innovativa CTM
Maskintänkande 2.0: Varför CTM är en milstolpe
Den nya ”Continuous Thought Machine” (CTM) från den japanska startupen Sakana AI markerar ett paradigmskifte inom AI-forskning genom att etablera den temporala dynamiken i neural aktivitet som en central mekanism för maskinellt tänkande. Till skillnad från konventionella AI-modeller som bearbetar information i ett enda steg simulerar CTM en flerstegs tankeprocess som mer liknar den mänskliga hjärnans funktionssätt.
Relaterat till detta:
Revolutionen av tidsbaserat tänkande
Medan traditionella AI-modeller som GPT-4 eller Llama 3 fungerar sekventiellt – input kommer in, output går ut – bryter CTM med denna princip. Systemet fungerar med ett internt tidskoncept, så kallade "ticks" eller diskreta tidssteg, genom vilka modellens interna tillstånd utvecklas stegvis. Denna metod möjliggör iterativ anpassning och skapar en process som mer liknar en naturlig tankeprocess än en ren reaktion.
”CTM arbetar med ett internt tidsbegrepp, de så kallade ’interna ticken’, som är frikopplade från datainmatningen”, förklarar Sakana AI. ”Detta gör att modellen kan ’tänka’ igenom flera steg när den löser uppgifter, istället för att fatta ett beslut omedelbart i ett enda svep.”
Kärnan i detta tillvägagångssätt ligger i användningen av neural synkronisering som en grundläggande representationsmekanism. Sakana AI hämtade inspiration från biologiska hjärnors funktionssätt, där temporal koordination mellan neuroner spelar en avgörande roll. Denna biologiska inspiration går bortom enbart metaforer och utgör grunden för deras AI-utvecklingsfilosofi.
Modeller på neuronnivå: De tekniska grunderna
CTM introducerar en komplex neural arkitektur som kallas "Neuron-Level Models" (NLM). Varje neuron har sina egna viktparametrar och spårar en historik av tidigare aktiveringar. Denna historik påverkar neuronernas beteende över tid, vilket möjliggör mer dynamisk bearbetning än konventionella artificiella neurala nätverk.
Tankeprocessen utvecklas i flera interna steg. Först bearbetar en "synaptisk modell" de aktuella neuronala tillstånden såväl som extern indata för att generera initiala signaler – de så kallade föraktiveringarna. Därefter får individuella "neuronmodeller" tillgång till historiken för dessa signaler för att beräkna deras nästa tillstånd.
Neuronala tillstånd registreras över tid för att analysera styrkan i synkroniseringen mellan neuronerna. Denna synkronisering utgör modellens centrala interna representation. En ytterligare uppmärksamhetsmekanism gör det möjligt för systemet att selektivt välja och bearbeta relevanta delar av indata.
Prestanda- och praktiska tester
I en serie experiment jämförde Sakana AI prestandan hos CTM med etablerade arkitekturer. Resultaten visar lovande framsteg inom olika tillämpningsområden:
Bildklassificering och visuell bearbetning
På den välkända ImageNet 1K-datauppsättningen uppnår CTM en noggrannhet bland de bästa på 72,47 % och en noggrannhet bland de bästa på 89,89 %. Även om dessa värden inte är toppklassificerade enligt dagens mått mätt, betonar Sakana AI att detta inte är projektets primära mål. Det är värt att notera att detta är det första försöket att använda neural dynamik som en representation för ImageNet-klassificering.
I tester med CIFAR-10-datasetet presterade CTM också något bättre än konventionella modeller, där dess förutsägelser liknade mer mänskligt beslutsfattande. På CIFAR-10H uppnår CTM ett kalibreringsfel på endast 0,15, vilket överträffar både människor (0,22) och LSTM:er (0,28).
Komplex problemlösning
I paritetsuppgifter med en längd på 64 uppnår CTM en imponerande noggrannhet på 100 % med över 75 klockcykler, medan LSTM:er fastnar vid mindre än 60 % noggrannhet med maximalt 10 effektiva klockcykler. I ett labyrintexperiment visade modellen ett beteende som liknar steg-för-steg-ruttplanering, med en framgångsgrad på 80 %, jämfört med 45 % för LSTM:er och endast 20 % för framåtkopplade nätverk.
Särskilt intressant är modellens förmåga att dynamiskt justera sitt bearbetningsdjup: den stoppar tidigare för enkla uppgifter och beräknar längre för mer komplexa. Detta fungerar utan ytterligare förlustbringande funktioner och är en inneboende egenskap i arkitekturen.
Tolkbarhet och transparens
En viktig egenskap hos CTM är dess tolkningsbarhet. Under bildbehandling skannar uppmärksamhetshuvudena systematiskt relevanta funktioner, vilket ger insikt i modellens "tankeprocess". I labyrintexperiment uppvisade systemet ett beteende som liknar steg-för-steg-planering av en rutt – ett beteende som enligt utvecklarna är emergent och inte explicit programmerat.
Sakana AI erbjuder till och med en interaktiv demo där ett CTM-system hittar sin väg ut ur en labyrint i upp till 150 steg i webbläsaren. Denna transparens är en betydande fördel jämfört med många moderna AI-system, vars beslutsfattande ofta uppfattas som en "svart låda".
Relaterat till detta:
Utmaningar och begränsningar
Trots de lovande resultaten står CTM fortfarande inför betydande utmaningar:
- Beräkningsansträngning: Varje intern klockcykel kräver fullständiga framåtpasseringar, vilket ökar träningskostnaderna med ungefär tre gånger jämfört med LSTM:er.
- Skalbarhet: Nuvarande implementeringar kan bearbeta maximalt 1 000 neuroner, och skalning till transformatorstorlek (≥1 miljard parametrar) har ännu inte testats.
- Användningsområden: Även om CTM visar goda resultat i specifika tester, återstår det att se om dessa fördelar också kommer att omsättas i breda praktiska tillämpningar.
Forskarna experimenterade också med olika modellstorlekar och fann att även om fler neuroner ledde till mer varierade aktivitetsmönster, förbättrade de inte automatiskt resultaten. Detta tyder på komplexa samband mellan modellarkitektur, storlek och prestanda.
Sakana AI: En ny metod för artificiell intelligens
Sakana AI grundades i juli 2023 av AI-visionärerna David Ha och Lion Jones, båda tidigare Google-forskare, tillsammans med Ren Ito, en tidigare Mercari-anställd och tjänsteman vid det japanska utrikesministeriet. Företaget har en fundamentalt annorlunda strategi än många etablerade AI-utvecklare.
Istället för att ta den konventionella vägen med massiva, resurskrävande AI-modeller hämtar Sakana AI inspiration från naturen, särskilt den kollektiva intelligensen hos fiskstim och fågelflockar. Till skillnad från företag som OpenAI, som utvecklar stora, kraftfulla modeller som ChatGPT, förlitar sig Sakana AI på en decentraliserad strategi med mindre, samarbetsinriktade AI-modeller som arbetar effektivt tillsammans.
Denna filosofi återspeglas även i CTM. Istället för att bara bygga större modeller med fler parametrar fokuserar Sakana AI på grundläggande arkitektoniska innovationer som fundamentalt skulle kunna förändra hur AI-system bearbetar information.
Ett paradigmskifte inom AI-utveckling?
Den kontinuerliga tankemaskinen skulle kunna markera ett betydande steg i AI-utvecklingen. Genom att återinföra temporal dynamik som ett centralt element i artificiella neurala nätverk utökar Sakana AI repertoaren av verktyg och koncept för AI-forskning.
Den biologiska inspirationen, tolkningsbarheten och det adaptiva beräkningsdjupet hos CTM skulle kunna vara särskilt värdefullt i tillämpningar som kräver komplext resonemang och problemlösning. Dessutom skulle denna metod kunna leda till effektivare AI-system som kräver färre beräkningsresurser.
Huruvida CTM verkligen representerar ett genombrott återstår att se. Den största utmaningen blir att omsätta de lovande resultaten från laboratorietester till praktiska tillämpningar och skala upp arkitekturen till större modeller.
Oavsett representerar CTM ett djärvt och innovativt tillvägagångssätt som visar att trots de imponerande framgångarna med nuvarande AI-system finns det fortfarande betydande utrymme för grundläggande innovation i arkitekturen för artificiella neurala nätverk. Sakana AI:s Continuous Thought Machine påminner oss om att vi kanske bara är i början av en lång resa mot att utveckla verkligt människolik artificiell intelligens.
Relaterat till detta:
Din expert på AI-transformation, AI-integration och AI-plattformsbranschen
☑️ Vårt affärsspråk är engelska eller tyska
☑️ NYTT: Korrespondens på ditt modersmål!
Konrad Wolfenstein
Jag och mitt team står gärna till er förfogande som er personliga rådgivare.
Du kan kontakta mig genom att fylla i kontaktformuläret här eller helt enkelt ringa mig på +49 89 89 674 804 ( München) . Min e-postadress är: [email protected]
Jag ser fram emot vårt gemensamma projekt.
