Så här lär AI som en hjärna: lära sig en ny strategi för AI-system med Time-Sakana AI och kontinuerlig men maskin

Publicerad: 19 maj 2025 / UPDATE Från: 19 maj 2025 - Författare: Konrad Wolfenstein

Så här lär AI som en hjärna: lära sig en ny strategi för AI-system med Time-Sakana AI och kontinuerlig Thoug Machine-Image: Xpert.digital

Mänskligt tänkande nytt: The Innovative CTM av Sakana Ai

Maskin Tänkande 2.0: Varför CTM är en milstolpe

Den nya "kontinuerliga tankemaskinen" (CTM) av den japanska start-up Sakana AI markerar en paradigmskifte i AI-forskning genom att upprätta tidsdynamiken för neuronal aktivitet som en central mekanism för maskintänkande. I motsats till konventionella AI-modeller som bearbetar information i en omgång, simulerar CTM en flerstegsprocess för att tänka som är mer baserat på den mänskliga hjärnans funktion.

Lämplig för detta:

Memorial Game | Företag utan kunder: En analys av framtiden för handeln i en AI-kontrollerad värld

Revolutionen av tidsbaserat tänkande

Medan traditionella AI-modeller som GPT-4 eller LLAMA 3-arbetet i följd-en ingång kommer in, går en utgång ut CTM-bryter med denna princip. Systemet arbetar med ett internt tidskoncept, så kallade "fästingar" eller diskret timing, genom vilket modellens interna tillstånd utvecklas gradvis. Detta tillvägagångssätt möjliggör iterativ anpassning och skapar en process som är mer som en naturlig tänkningsprocess än en ren reaktion.

"CTM fungerar med ett internt tidskoncept, de så kallade" interna fästingarna ", som frikopplas av datainmatningen," förklarar Sakana AI. "Detta gör det möjligt för modellen att" tänka "flera steg när man löser uppgifter istället för att fatta ett beslut i en enda körning omedelbart."

Kärnan i denna metod ligger i användningen av neuronal synkronisering som en grundläggande mekanism för representation. Sakana AI inspirerades av funktionaliteten hos biologiska hjärnor, i vilken tidskoordinering mellan neuroner spelar en avgörande roll. Denna biologiska inspiration går utöver en ren metafor och utgör grunden för dess AI -utvecklingsfilosofi.

Neuronnivåmodeller: de tekniska grunden

CTM introducerar en komplex neuralarkitektur, som kallas ”neuronnivåmodeller” (NLMS). Varje neuron har sina egna viktparametrar och bedriver en historia av tidigare aktiveringar. Dessa historiker påverkar neurons beteende i tid och möjliggör mer dynamisk bearbetning än med konventionella konstgjorda neuronala nätverk.

Tänkningsprocessen körs i flera interna steg. Först bearbetar en "synapse-modell" de nuvarande neuronstaterna och externa inmatningsdata för att skapa de första signalerna-så kallade föraktiveringar. Därefter använder individuella "neuronmodeller" historikerna för dessa signaler för att beräkna sina nästa tillstånd.

Neuroneringstillstånd registreras över tid för att analysera synkroniseringsstyrkan mellan neuronerna. Denna synkronisering utgör den centrala interna representationen av modellen. En ytterligare uppmärksamhetsmekanism gör det möjligt för systemet att välja och bearbeta relevanta delar av inmatningsdata.

Prestanda och praktiska tester

I ett antal experiment jämförde Sakana AI prestandan hos CTM med etablerade arkitekturer. Resultaten visar lovande framsteg inom olika tillämpningsområden:

Figurklassificering och visuellt utförande

På den välkända ImageNet-1K-datauppsättningen uppnår CTM en topp 1-noggrannhet på 72,47% och en topp 5-noggrannhet på 89,89%. Även om dessa värden för dagens standarder inte representerar toppvärden, betonar Sakana AI att detta inte är projektets primära mål. Det är anmärkningsvärt att detta är det första försöket att använda neural dynamik som en form av representation för imagenetklassificeringen.

I tester med CIFAR 10-datauppsättningen är CTM också något bättre än konventionella modeller, där deras förutsägelser är mer lik mänskliga beslutsbeteende. Vid CIFAR-10H uppnår CTM ett kalibreringsfel på endast 0,15 och överskrider således både människor (0,22) och LSTMS (0,28).

Komplex problemlösning

När det gäller paritetsuppgifter med en längd på 64, uppnår CTM en imponerande noggrannhet på 100% med över 75 barer, medan LSTMS fastnar med högst 10 effektiva staplar till mindre än 60%. I ett labyrintexperiment visade modellen beteende som liknar den gradvisa planeringen av en rutt, med en framgångsgrad på 80%, jämfört med 45% i LSTMS och endast 20% i foderförsörjningsnätverk.

Modellen för modellen är särskilt intressant för att dynamiskt anpassa sitt bearbetningsdjup: den stannar tidigare i fallet med enkla uppgifter, med mer komplex den beräknar längre. Detta fungerar utan ytterligare förlustfunktioner och är en inneboende egenskap hos arkitektur.

Tolkbarhet och öppenhet

Ett enastående inslag i CTM är dess tolkbarhet. Under bildbehandlingen skannar uppmärksamhetshuvuden systematiskt relevanta funktioner, vilket möjliggör en inblick i modellens ”tänkande”. I labyrintexperiment visade systemet beteende som liknar den gradvisa planeringen av ett Route-A-beteende som enligt utvecklarna är framväxande och inte uttryckligen programmerades.

Sakana Ai tillhandahåller till och med en interaktiv demo där ett CTM -system i webbläsaren hittar sin väg ut ur en labyrint i upp till 150 steg. Denna transparens är en viktig fördel jämfört med många moderna AI-system, vars beslutsprocess ofta uppfattas som en "svart låda".

Lämplig för detta:

Utveckling av marknaden för konstgjord intelligens i Japan: favoriter, forskning, stöd, tillämpningar och framtidsplaner

Utmaningar och begränsningar

Trots de lovande resultaten står CTM fortfarande inför betydande utmaningar:

Datorinsats: Varje intern klocka kräver fullständiga framåtkörningar, vilket ökar träningskostnaderna jämfört med LSTMS med cirka tre gånger.
Skalbarhet: Aktuella implementeringsprocess Maximalt 1 000 neuroner, och skalningen till transformatorstorleken (≥1 miljarder parametrar) har ännu inte testats.
Applikationsområden: Medan CTM visar goda resultat i specifika tester återstår det att se om dessa fördelar också används i breda praktiska tillämpningar.

Forskarna experimenterade också med olika modellstorlekar och fann att fler neuroner ledde till mer olika aktivitetsmönster, men förbättrade inte automatiskt resultaten. Detta indikerar komplexa förhållanden mellan modellarkitektur, storlek och prestanda.

Sakana AI: En ny strategi för konstgjord intelligens

Sakana AI grundades i juli 2023 av AI -visionären David Ha och Llion Jones, båda de tidigare Google -forskarna, tillsammans med Ren Ito, en tidigare anställd i Merci och tjänstemän i det japanska utrikesministeriet. Företaget bedriver en grundläggande strategi än många etablerade AI -utvecklare.

I stället för att gå den konventionella vägen mer massiva, resurskrävande AI-modeller, är Sakana AI inspirerad av naturen, särskilt av den kollektiva intelligensen hos fisksvärmar och svärmar av fåglar. I motsats till företag som OpenAAI, som utvecklar omfattande, kraftfulla modeller som chatgpt, förlitar Sakana AI på en decentraliserad strategi med mindre, samarbetsmodeller som arbetar effektivt tillsammans.

Denna filosofi återspeglas också i CTM. I stället för att helt enkelt bygga större modeller med fler parametrar fokuserar Sakana AI på grundläggande arkitektoniska innovationer som i grunden kan förändra hur AI -system kan bearbeta information.

Ett paradigmskifte i AI -utvecklingen?

Den kontinuerliga tankemaskinen kan markera ett betydande steg i AI -utvecklingen. Genom att återintroducera temporär dynamik som ett centralt element i konstgjorda neurala nätverk, utökar Sakana AI repertoaren av verktyg och koncept för AI -forskning.

Den biologiska inspiration, tolkbarhet och adaptiva beräkningsdjup för CTM kan vara särskilt värdefullt i applikationsområden som kräver komplexa slutsatser och problemlösning. Dessutom kan detta tillvägagångssätt leda till effektivare AI -system som kan göra med mindre datorresurser.

Det återstår att se om CTM faktiskt representerar ett genombrott. Den största utmaningen är att konvertera de lovande resultaten från laboratorietesterna till praktiska tillämpningar och att skala arkitekturen till större modeller.

Oavsett detta representerar CTM en modig och innovativ strategi som visar att trots de imponerande framgångarna för nuvarande AI -system finns det fortfarande mycket utrymme för grundläggande innovationer i arkitekturen för konstgjorda neurala nätverk. Sakana AIS kontinuerlig tankemaskin påminner oss om att vi kanske bara är i början av en lång resa för att utveckla riktigt mänsklig liknande konstgjord intelligens.

Lämplig för detta: