Hoe AI leert als een brein: een nieuwe aanpak voor AI-systemen om in de loop van de tijd te leren – Sakana AI en Continuous Thought Machine – Afbeelding: Xpert.Digital
Het menselijk denken opnieuw vormgeven: Sakana AI's innovatieve CTM
Machine Thinking 2.0: Waarom CTM een mijlpaal is
De nieuwe "Continuous Thought Machine" (CTM) van de Japanse startup Sakana AI markeert een paradigmaverschuiving in AI-onderzoek door de temporele dynamiek van neurale activiteit als centraal mechanisme voor machinaal denken te vestigen. In tegenstelling tot conventionele AI-modellen die informatie in één keer verwerken, simuleert CTM een denkproces in meerdere fasen dat de werking van het menselijk brein nauwkeuriger nabootst.
Geschikt hiervoor:
De revolutie van tijdsgebonden denken
Terwijl traditionele AI-modellen zoals GPT-4 of Llama 3 sequentieel werken – input komt binnen, output komt eruit – breekt CTM met dit principe. Het systeem werkt met een intern tijdsconcept, zogenaamde "ticks" of discrete tijdstappen, waarmee de interne toestand van het model stapsgewijs evolueert. Deze aanpak maakt iteratieve aanpassing mogelijk en creëert een proces dat meer lijkt op een natuurlijk denkproces dan op een loutere reactie.
"Het CTM werkt met een intern tijdsconcept, de zogenaamde 'interne ticks', die losgekoppeld zijn van de data-input", legt Sakana AI uit. "Hierdoor kan het model in meerdere stappen 'nadenken' bij het oplossen van taken, in plaats van direct in één keer een beslissing te nemen."
De kern van deze aanpak ligt in het gebruik van neurale synchronisatie als fundamenteel representatiemechanisme. Sakana AI liet zich inspireren door de werking van biologische hersenen, waar temporele coördinatie tussen neuronen een cruciale rol speelt. Deze biologische inspiratie gaat verder dan een loutere metafoor en vormt de basis van hun filosofie voor AI-ontwikkeling.
Modellen op neuronniveau: de technische basis
De CTM introduceert een complexe neurale architectuur die bekend staat als "Neuron-Level Models" (NLM's). Elke neuron heeft zijn eigen gewichtsparameters en houdt een geschiedenis van eerdere activaties bij. Deze geschiedenissen beïnvloeden het gedrag van de neuronen in de loop van de tijd, waardoor een dynamischer verwerking mogelijk is dan bij conventionele kunstmatige neurale netwerken.
Het denkproces ontvouwt zich in verschillende interne stappen. Eerst verwerkt een "synaptisch model" de huidige neuronale toestanden en externe inputgegevens om initiële signalen te genereren – de zogenaamde pre-activaties. Vervolgens raadplegen individuele "neuronmodellen" de geschiedenis van deze signalen om hun volgende toestanden te berekenen.
De neuronale toestanden worden in de loop van de tijd geregistreerd om de sterkte van de synchronisatie tussen de neuronen te analyseren. Deze synchronisatie vormt de centrale interne representatie van het model. Een aanvullend aandachtmechanisme stelt het systeem in staat om selectief relevante delen van de inputgegevens te kiezen en te verwerken.
Prestatie- en praktijktests
In een reeks experimenten vergeleek Sakana AI de prestaties van CTM met gevestigde architecturen. De resultaten tonen veelbelovende vooruitgang op diverse toepassingsgebieden:
Beeldclassificatie en visuele verwerking
Op de bekende ImageNet 1K-dataset behaalt CTM een Top 1-nauwkeurigheid van 72,47% en een Top 5-nauwkeurigheid van 89,89%. Hoewel deze waarden niet tot de absolute top behoren volgens de huidige maatstaven, benadrukt Sakana AI dat dit niet het primaire doel van het project is. Het is opmerkelijk dat dit de eerste poging is om neurale dynamiek te gebruiken als representatie voor ImageNet-classificatie.
Bij tests met de CIFAR-10-dataset presteerde het CTM ook iets beter dan conventionele modellen, waarbij de voorspellingen meer overeenkwamen met menselijke besluitvorming. Op CIFAR-10H behaalt het CTM een kalibratiefout van slechts 0,15, waarmee het zowel mensen (0,22) als LSTM's (0,28) overtreft.
Complexe probleemoplossing
Bij pariteitstaken met een lengte van 64 behaalt de CTM een indrukwekkende nauwkeurigheid van 100% met meer dan 75 klokcycli, terwijl LSTM's blijven steken op een nauwkeurigheid van minder dan 60% met maximaal 10 effectieve klokcycli. In een doolhofexperiment vertoonde het model gedrag dat vergelijkbaar is met stapsgewijze routeplanning, met een succespercentage van 80%, vergeleken met 45% voor LSTM's en slechts 20% voor feedforward-netwerken.
Bijzonder interessant is het vermogen van het model om de verwerkingsdiepte dynamisch aan te passen: het stopt eerder bij eenvoudige taken en rekent langer bij complexere taken. Dit werkt zonder extra verliesgevende functies en is een inherent kenmerk van de architectuur.
Interpreteerbaarheid en transparantie
Een belangrijk kenmerk van het CTM is de interpreteerbaarheid ervan. Tijdens de beeldverwerking scannen de aandachtskoppen systematisch relevante kenmerken, waardoor inzicht wordt verkregen in het 'denkproces' van het model. In doolhofexperimenten vertoonde het systeem gedrag dat vergelijkbaar was met het stapsgewijs plannen van een route – een gedrag dat volgens de ontwikkelaars emergent is en niet expliciet geprogrammeerd.
Sakana AI biedt zelfs een interactieve demo waarin een CTM-systeem in maximaal 150 stappen binnen de browser zijn weg uit een doolhof vindt. Deze transparantie is een significant voordeel ten opzichte van veel moderne AI-systemen, waarvan de besluitvorming vaak als een 'black box' wordt beschouwd.
Geschikt hiervoor:
Uitdagingen en beperkingen
Ondanks de veelbelovende resultaten staat CTM nog steeds voor aanzienlijke uitdagingen:
- Rekeninspanning: Elke interne klokcyclus vereist volledige voorwaartse passes, waardoor de trainingskosten ongeveer drie keer zo hoog zijn als bij LSTM's.
- Schaalbaarheid: De huidige implementaties kunnen maximaal 1.000 neuronen verwerken, en opschaling naar de grootte van een transformer (≥1 miljard parameters) is nog niet getest.
- Toepassingsgebieden: Hoewel CTM goede resultaten laat zien in specifieke tests, moet nog blijken of deze voordelen zich ook vertalen naar brede praktische toepassingen.
De onderzoekers experimenteerden ook met verschillende modelgroottes en ontdekten dat hoewel meer neuronen leidden tot meer diverse activiteitspatronen, dit niet automatisch betere resultaten opleverde. Dit suggereert complexe verbanden tussen modelarchitectuur, grootte en prestaties.
Sakana AI: een nieuwe benadering van kunstmatige intelligentie
Sakana AI werd in juli 2023 opgericht door AI-visionairs David Ha en Lion Jones, beiden voormalige onderzoekers bij Google, samen met Ren Ito, een voormalig medewerker van Mercari en functionaris bij het Japanse ministerie van Buitenlandse Zaken. Het bedrijf hanteert een fundamenteel andere aanpak dan veel gevestigde AI-ontwikkelaars.
In plaats van de conventionele route van enorme, resource-intensieve AI-modellen te volgen, haalt Sakana AI inspiratie uit de natuur, met name uit de collectieve intelligentie van scholen vissen en vogelzwermen. In tegenstelling tot bedrijven zoals OpenAI, die grote, krachtige modellen zoals ChatGPT ontwikkelen, vertrouwt Sakana AI op een gedecentraliseerde aanpak met kleinere, samenwerkende AI-modellen die efficiënt samenwerken.
Deze filosofie komt ook tot uiting in CTM. In plaats van simpelweg grotere modellen met meer parameters te bouwen, richt Sakana AI zich op fundamentele architectonische innovaties die de manier waarop AI-systemen informatie verwerken, fundamenteel kunnen veranderen.
Een paradigmaverschuiving in de ontwikkeling van AI?
De Continuous Thought Machine zou een belangrijke stap in de ontwikkeling van AI kunnen betekenen. Door temporele dynamiek opnieuw te introduceren als centraal element van kunstmatige neurale netwerken, breidt Sakana AI het repertoire aan instrumenten en concepten voor AI-onderzoek uit.
De biologische inspiratie, interpreteerbaarheid en adaptieve computationele diepte van CTM zouden bijzonder waardevol kunnen zijn in toepassingen die complexe redeneringen en probleemoplossing vereisen. Bovendien zou deze aanpak kunnen leiden tot efficiëntere AI-systemen die minder rekenkracht nodig hebben.
Of CTM daadwerkelijk een doorbraak betekent, moet nog blijken. De grootste uitdaging zal zijn om de veelbelovende resultaten van de laboratoriumtests te vertalen naar praktische toepassingen en de architectuur op te schalen naar grotere modellen.
Desondanks vertegenwoordigt de CTM een gedurfde en innovatieve aanpak, die aantoont dat er, ondanks de indrukwekkende successen van de huidige AI-systemen, nog steeds aanzienlijke ruimte is voor fundamentele innovatie in de architectuur van kunstmatige neurale netwerken. De Continuous Thought Machine van Sakana AI herinnert ons eraan dat we wellicht nog maar aan het begin staan van een lange reis naar de ontwikkeling van werkelijk mensachtige kunstmatige intelligentie.
Geschikt hiervoor:
Uw AI -transformatie, AI -integratie en AI Platform Industry Expert
☑️ onze zakelijke taal is Engels of Duits
☑️ Nieuw: correspondentie in uw nationale taal!
Konrad Wolfenstein
Ik ben blij dat ik beschikbaar ben voor jou en mijn team als een persoonlijk consultant.
U kunt contact met mij opnemen door het contactformulier hier in te vullen of u gewoon te bellen op +49 89 674 804 (München) . Mijn e -mailadres is: Wolfenstein ∂ Xpert.Digital
Ik kijk uit naar ons gezamenlijke project.
