Dit is hoe AI leert als een brein: een nieuwe benadering van AI-systemen leren met Time-Sakana AI en continu hoewel machinaal

Gepubliceerd op: 19 mei 2025 / UPDATE VAN: 19 mei 2025 - Auteur: Konrad Wolfenstein

Dit is hoe AI leert als een brein: een nieuwe aanpak leren voor AI-systemen met Time-Sakana AI en continu Thoug Machine-beeld: Xpert.Digital

Human Think New: The Innovative CTM van Sakana AI

Machine Thinking 2.0: Waarom de CTM een mijlpaal is

De nieuwe "Continuous Thought Machine" (CTM) van de Japanse start-up Sakana AI markeert een paradigmaverschuiving in AI-onderzoek door de tijdsdynamiek van neuronale activiteit vast te stellen als een centraal mechanisme voor machinebouw. In tegenstelling tot conventionele AI-modellen die informatie in één ronde verwerken, simuleert CTM een multi-fase denkproces dat meer is gebaseerd op het functioneren van het menselijk brein.

Geschikt hiervoor:

Herdenkingsspel | Bedrijven zonder klanten: een analyse van de toekomst van de handel in een AI-gecontroleerde wereld

De revolutie van op tijd gebaseerd denken

Terwijl traditionele AI-modellen zoals GPT-4 of LLAMA 3 werken opeenvolgend-een input binnenkomt, gaat een output out-CTM-breuken met dit principe. Het systeem werkt met een interne tijdconcept, dus aangedaan "teken" of discrete timing, waardoor de interne toestand van het model zich geleidelijk ontwikkelt. Deze benadering maakt iteratieve aanpassing mogelijk en creëert een proces dat meer op een natuurlijk denkproces lijkt dan op slechts een reactie.

"De CTM werkt met een intern concept van tijd, de zo -aangedreven 'interne teken', die worden ontkoppeld door de gegevensinvoer", legt Sakana AI uit. "Dit stelt het model in staat om verschillende stappen te 'denken' bij het oplossen van taken in plaats van onmiddellijk een beslissing te nemen in een enkele run."

De kern van deze benadering ligt in het gebruik van neuronale synchronisatie als een fundamenteel representatiemechanisme. Sakana AI werd geïnspireerd door de functionaliteit van biologische hersenen, waarbij de tijdscoördinatie tussen neuronen een cruciale rol speelt. Deze biologische inspiratie gaat verder dan alleen metafoor en vormt de basis van zijn AI -ontwikkelingsfilosofie.

Neuron-niveau modellen: de technische grondslagen

De CTM introduceert een complexe neurale architectuur, die wordt genoemd als "neuron-niveau modellen" (NLMS). Elk neuron heeft zijn eigen gewichtsparameters en volgt een geschiedenis van eerdere activeringen. Deze historicals beïnvloeden het gedrag van de neuronen in de tijd en maken meer dynamische verwerking mogelijk dan met conventionele kunstmatige neuronale netwerken.

Het denkproces loopt in verschillende interne stappen. Ten eerste verwerkt een "synaps-model" de huidige neuronstaten en externe invoergegevens om de eerste signalen te maken-de zogenaamde pre-activaties. Vervolgens gebruiken individuele "neuron -modellen" de historische stoffen van deze signalen om hun volgende staten te berekenen.

De neuronende toestanden worden in de loop van de tijd geregistreerd om de synchronisatiesterkte tussen de neuronen te analyseren. Deze synchronisatie vormt de centrale interne weergave van het model. Met een extra aandachtsmechanisme kan het systeem relevante delen van de invoergegevens selecteren en verwerken.

Prestaties en praktische tests

In een aantal experimenten vergeleek Sakana AI de prestaties van de CTM met gevestigde architecturen. De resultaten tonen veelbelovende vooruitgang op verschillende toepassingsgebieden:

Figuurclassificatie en visueel vakmanschap

Op de bekende ImageNet-1K-gegevensset behaalt de CTM een top 1-nauwkeurigheid van 72,47% en een top 5-nauwkeurigheid van 89,89%. Hoewel deze waarden voor de normen van vandaag geen topwaarden vertegenwoordigen, benadrukt Sakana Ai dat dit niet het primaire doel van het project is. Het is opmerkelijk dat dit de eerste poging is om neurale dynamiek te gebruiken als een vorm van representatie voor de ImageNet -classificatie.

In tests met de CIFAR 10-gegevensset, de CTM ook iets beter af dan conventionele modellen, waarbij hun voorspellingen meer vergelijkbaar zijn met menselijk besluitvormingsgedrag. Bij cifar-10H bereikt de CTM een kalibratiefout van slechts 0,15 en overschrijdt dus zowel mensen (0,22) als LSTM's (0,28).

Complexe probleemoplossing

In het geval van pariteitstaken met een lengte van 64, bereikt de CTM een indrukwekkende nauwkeurigheid van 100% met meer dan 75 bar, terwijl LSTM's vast komen te zitten met maximaal 10 effectieve staven met minder dan 60%. In een labyrint-experiment toonde het model gedrag aan dat lijkt op de geleidelijke planning van een route, met een succespercentage van 80%, vergeleken met 45% in LSTM's en slechts 20% voor feed-forward netwerken.

Het model van het model is vooral interessant om de verwerkingsdiepte dynamisch aan te passen: het stopt eerder in het geval van eenvoudige taken, met complexer berekent het langer. Dit werkt zonder extra verliesfuncties en is een inherente eigenschap van architectuur.

Interpreteerbaarheid en transparantie

Een uitstekend kenmerk van de CTM is de interpreteerbaarheid. Tijdens de beeldverwerking scannen de aandachtshoofden systematisch relevante functies, die inzicht in het "denkproces" van het model mogelijk maken. In labyrint-experimenten vertoonde het systeem gedrag dat lijkt op de geleidelijke planning van een route-a-gedrag dat volgens de ontwikkelaars opkomt en niet expliciet werd geprogrammeerd.

Sakana Ai biedt zelfs een interactieve demo waarin een CTM -systeem in de browser zijn weg vindt uit een labyrint in maximaal 150 stappen. Deze transparantie is een belangrijk voordeel ten opzichte van veel moderne AI-systemen, waarvan het besluitvormingsproces vaak wordt gezien als een "zwarte doos".

Geschikt hiervoor:

Ontwikkeling van de markt voor kunstmatige intelligentie in Japan: favorieten, onderzoek, ondersteuning, toepassingen en toekomstplannen

Uitdagingen en beperkingen

Ondanks de veelbelovende resultaten staat de CTM nog steeds voor aanzienlijke uitdagingen:

Computerinspanning: elke interne klok vereist volledige voorwaartse runs, waardoor de trainingskosten worden verhoogd in vergelijking met LSTM's met ongeveer drie keer.
Schaalbaarheid: de huidige implementaties verwerkten maximaal 1.000 neuronen en de schaalvergroting naar transformatorgrootte (≥1 miljard parameters) is nog niet getest.
Toepassingsgebieden: hoewel de CTM goede resultaten vertoont in specifieke tests, valt het nog te bezien of deze voordelen ook worden gebruikt in brede praktische toepassingen.

De onderzoekers experimenteerden ook met verschillende modelgroottes en ontdekten dat meer neuronen leidden tot meer diverse activiteitspatronen, maar verbeterden de resultaten niet automatisch. Dit duidt op complexe relaties tussen modelarchitectuur, grootte en prestaties.

Sakana AI: een nieuwe benadering van kunstmatige intelligentie

Sakana Ai werd in juli 2023 opgericht door AI Visionary David Ha en Llion Jones, beide voormalige Google -onderzoekers, samen met Ren Ito, een voormalige medewerker van Mercari en ambtenaren in het Japanse ministerie van Buitenlandse Zaken. Het bedrijf volgt een fundamentele aanpak dan veel gevestigde AI -ontwikkelaars.

In plaats van het conventionele pad te bewandelen, is Sakana Ai geïnspireerd door de natuur, vooral door de collectieve intelligentie van viszwermen en zwermen vogels. In tegenstelling tot bedrijven zoals OpenAai, die uitgebreide, krachtige modellen zoals Chatgpt ontwikkelen, vertrouwt Sakana AI op een gedecentraliseerde aanpak met kleinere, samenwerkings -AI -modellen die efficiënt samenwerken.

Deze filosofie wordt ook weerspiegeld in de CTM. In plaats van eenvoudig grotere modellen te bouwen met meer parameters, richt Sakana AI zich op fundamentele architecturale innovaties die de manier waarop AI -systemen informatie kunnen verwerken, fundamenteel kunnen veranderen.

Een paradigmaverschuiving in AI -ontwikkeling?

De continue gedachtenmachine kan een belangrijke stap in AI -ontwikkeling markeren. Door de tijdelijke dynamiek opnieuw te introduceren als een centraal element van kunstmatige neurale netwerken, breidt Sakana AI het repertoire van tools en concepten voor AI -onderzoek uit.

De biologische inspiratie, interpreteerbaarheid en adaptieve berekeningsdiepte van de CTM kunnen bijzonder waardevol zijn in toepassingsgebieden die complexe conclusies en probleemoplossing vereisen. Bovendien kan deze aanpak leiden tot efficiëntere AI -systemen die kunnen doen met minder computerbronnen.

Het valt nog te bezien of de CTM eigenlijk een doorbraak vertegenwoordigt. De grootste uitdaging zal zijn om de veelbelovende resultaten van de laboratoriumtests om te zetten in praktische toepassingen en om de architectuur op te schalen naar grotere modellen.

Ongeacht dit vertegenwoordigt de CTM een dappere en innovatieve aanpak die laat zien dat, ondanks de indrukwekkende successen van huidige AI -systemen, er nog steeds veel ruimte is voor fundamentele innovaties in de architectuur van kunstmatige neurale netwerken. Sakana Ais Continuous Thought Machine herinnert ons eraan dat we misschien pas aan het begin zijn van een lange reis om echt menselijke kunstmatige intelligentie te ontwikkelen.

Geschikt hiervoor: