Udgivet den: 19. maj 2025 / Opdateret den: 19. maj 2025 – Forfatter: Konrad Wolfenstein
Hvordan AI lærer som en hjerne: En ny tilgang til AI-systemers læring over tid – Sakana AI og Continuous Thought Machine – Billede: Xpert.Digital
Gentænkning af menneskelig tænkning: Sakana AI's innovative CTM
Maskintænkning 2.0: Hvorfor CTM er en milepæl
Den nye "Continuous Thought Machine" (CTM) fra den japanske startup Sakana AI markerer et paradigmeskift inden for AI-forskning ved at etablere den tidsmæssige dynamik i neural aktivitet som en central mekanisme for maskinel tænkning. I modsætning til konventionelle AI-modeller, der behandler information i en enkelt omgang, simulerer CTM en flertrinnet tankeproces, der mere ligner den menneskelige hjernes funktionsmåde.
Relateret til dette:
Revolutionen inden for tidsbaseret tænkning
Mens traditionelle AI-modeller som GPT-4 eller Llama 3 fungerer sekventielt – input kommer ind, output går ud – bryder CTM med dette princip. Systemet fungerer med et internt tidskoncept, såkaldte "ticks" eller diskrete tidstrin, hvorigennem modellens interne tilstand udvikler sig trinvis. Denne tilgang muliggør iterativ tilpasning og skaber en proces, der mere ligner en naturlig tankeproces end en simpel reaktion.
"CTM'en arbejder med et internt tidsbegreb, de såkaldte 'interne ticks', som er afkoblet fra datainputtet," forklarer Sakana AI. "Dette gør det muligt for modellen at 'tænke' igennem flere trin, når den løser opgaver, i stedet for at træffe en beslutning med det samme i en enkelt omgang."
Kernen i denne tilgang ligger i brugen af neural synkronisering som en fundamental repræsentationsmekanisme. Sakana AI er inspireret af biologiske hjerners funktion, hvor tidsmæssig koordinering mellem neuroner spiller en afgørende rolle. Denne biologiske inspiration går ud over blot metaforer og danner grundlaget for deres AI-udviklingsfilosofi.
Modeller på neuronniveau: De tekniske fundamenter
CTM introducerer en kompleks neural arkitektur kendt som "Neuron-Level Models" (NLM'er). Hver neuron har sine egne vægtparametre og sporer en historik over tidligere aktiveringer. Disse historikker påvirker neuronernes adfærd over tid, hvilket muliggør mere dynamisk behandling end konventionelle kunstige neurale netværk.
Tankeprocessen udfolder sig i flere interne trin. Først behandler en "synaptisk model" de aktuelle neuronale tilstande samt eksterne inputdata for at generere indledende signaler – de såkaldte præaktiveringer. Efterfølgende tilgår individuelle "neuronmodeller" historikken for disse signaler for at beregne deres næste tilstande.
Neuronernes tilstande registreres over tid for at analysere styrken af synkroniseringen mellem neuronerne. Denne synkronisering danner den centrale interne repræsentation af modellen. En yderligere opmærksomhedsmekanisme gør det muligt for systemet selektivt at vælge og behandle relevante dele af inputdataene.
Ydelses- og praktiske prøver
I en række eksperimenter sammenlignede Sakana AI CTM's ydeevne med etablerede arkitekturer. Resultaterne viser lovende fremskridt inden for forskellige anvendelsesområder:
Billedklassificering og visuel behandling
På det velkendte ImageNet 1K-datasæt opnår CTM en Top 1-nøjagtighed på 72,47 % og en Top 5-nøjagtighed på 89,89 %. Selvom disse værdier ikke er topklasse efter nutidens standarder, understreger Sakana AI, at dette ikke er projektets primære mål. Det er bemærkelsesværdigt, at dette er det første forsøg på at bruge neural dynamik som en repræsentation for ImageNet-klassificering.
I tests med CIFAR-10-datasættet klarede CTM'en sig også en smule bedre end konventionelle modeller, hvor dens forudsigelser mere ligner menneskelig beslutningstagning. På CIFAR-10H opnår CTM'en en kalibreringsfejl på kun 0,15, hvilket overgår både mennesker (0,22) og LSTM'er (0,28).
Kompleks problemløsning
I paritetsopgaver med en længde på 64 opnår CTM'en en imponerende nøjagtighed på 100 % med over 75 clock-cyklusser, mens LSTM'er sidder fast ved en nøjagtighed på under 60 % med maksimalt 10 effektive clock-cyklusser. I et labyrinteksperiment demonstrerede modellen en adfærd svarende til trinvis ruteplanlægning med en succesrate på 80 % sammenlignet med 45 % for LSTM'er og kun 20 % for feed-forward-netværk.
Særligt interessant er modellens evne til dynamisk at justere sin processeringsdybde: den stopper tidligere for simple opgaver og beregner længere for mere komplekse. Dette fungerer uden yderligere tabsgivende funktioner og er et iboende træk ved arkitekturen.
Fortolkelighed og gennemsigtighed
En central funktion ved CTM'en er dens fortolkelighed. Under billedbehandling scanner opmærksomhedshovederne systematisk relevante funktioner og giver indsigt i modellens "tankeproces". I labyrinteksperimenter udviste systemet en adfærd, der lignede den trinvise planlægning af en rute – en adfærd, der ifølge udviklerne er emergent og ikke eksplicit programmeret.
Sakana AI tilbyder endda en interaktiv demo, hvor et CTM-system finder vej ud af en labyrint i browseren i op til 150 trin. Denne gennemsigtighed er en betydelig fordel i forhold til mange moderne AI-systemer, hvis beslutningstagning ofte opfattes som en "sort boks".
Relateret til dette:
Udfordringer og begrænsninger
Trods de lovende resultater står CTM stadig over for betydelige udfordringer:
- Beregningsindsats: Hver intern clockcyklus kræver komplette fremadrettede gennemløb, hvilket øger træningsomkostningerne med cirka tre gange sammenlignet med LSTM'er.
- Skalerbarhed: Nuværende implementeringer kan behandle maksimalt 1.000 neuroner, og skalering til transformerstørrelse (≥1 milliard parametre) er endnu ikke blevet testet.
- Anvendelsesområder: Selvom CTM viser gode resultater i specifikke tests, er det endnu uvist, om disse fordele også vil omsættes til brede praktiske anvendelser.
Forskerne eksperimenterede også med forskellige modelstørrelser og fandt ud af, at selvom flere neuroner førte til mere forskelligartede aktivitetsmønstre, forbedrede de ikke automatisk resultaterne. Dette tyder på komplekse sammenhænge mellem modelarkitektur, størrelse og ydeevne.
Sakana AI: En ny tilgang til kunstig intelligens
Sakana AI blev grundlagt i juli 2023 af AI-visionærerne David Ha og Lion Jones, begge tidligere Google-forskere, sammen med Ren Ito, en tidligere Mercari-medarbejder og embedsmand i det japanske udenrigsministerium. Virksomheden har en fundamentalt anderledes tilgang end mange etablerede AI-udviklere.
I stedet for at tage den konventionelle vej med massive, ressourcekrævende AI-modeller, henter Sakana AI inspiration fra naturen, især den kollektive intelligens hos fiskestimer og fugleflokke. I modsætning til virksomheder som OpenAI, der udvikler store, kraftfulde modeller som ChatGPT, er Sakana AI afhængig af en decentraliseret tilgang med mindre, samarbejdsvillige AI-modeller, der arbejder effektivt sammen.
Denne filosofi afspejles også i CTM. I stedet for blot at bygge større modeller med flere parametre fokuserer Sakana AI på grundlæggende arkitektoniske innovationer, der fundamentalt kan ændre den måde, AI-systemer behandler information på.
Et paradigmeskift i AI-udvikling?
Den kontinuerlige tankemaskine kan markere et vigtigt skridt i udviklingen af kunstig intelligens. Ved at genintroducere tidsdynamik som et centralt element i kunstige neurale netværk udvider Sakana AI repertoiret af værktøjer og koncepter til AI-forskning.
Den biologiske inspiration, fortolkningsevne og adaptive beregningsdybde i CTM kan være særligt værdifuld i applikationer, der kræver kompleks ræsonnement og problemløsning. Desuden kan denne tilgang føre til mere effektive AI-systemer, der kræver færre beregningsressourcer.
Om CTM virkelig repræsenterer et gennembrud, er endnu uvist. Den største udfordring bliver at omsætte de lovende resultater fra laboratorietests til praktiske anvendelser og skalere arkitekturen til større modeller.
Uanset hvad repræsenterer CTM en dristig og innovativ tilgang, der demonstrerer, at der på trods af de imponerende succeser med nuværende AI-systemer stadig er betydelig plads til fundamental innovation i arkitekturen af kunstige neurale netværk. Sakana AI's Continuous Thought Machine minder os om, at vi måske kun er i begyndelsen af en lang rejse mod at udvikle en ægte menneskelignende kunstig intelligens.
Relateret til dette:
Din ekspert i AI-transformation, AI-integration og AI-platformbranchen
☑️ Vores forretningssprog er engelsk eller tysk
☑️ NYT: Korrespondance på dit modersmål!
Konrad Wolfenstein
Jeg og mit team er glade for at stå til rådighed for dig som din personlige rådgiver.
Du kan kontakte mig ved at udfylde kontaktformularen her eller blot ringe til mig på +49 89 89 674 804 ( München) . Min e-mailadresse er: [email protected]
Jeg glæder mig til vores fælles projekt.
