Gepubliseer op: 19 Mei 2025 / Opgedateer op: 19 Mei 2025 – Outeur: Konrad Wolfenstein
Hoe KI soos 'n brein leer: 'n Nuwe benadering vir KI-stelsels om oor tyd te leer – Sakana KI en Continuous Thought Machine – Beeld: Xpert.Digital
Herverbeelding van menslike denke: Sakana KI se innoverende CTM
Masjiendink 2.0: Waarom CTM 'n mylpaal is
Die nuwe "Continuous Thought Machine" (CTM) van die Japannese opstartonderneming Sakana AI dui 'n paradigmaskuif in KI-navorsing aan deur die temporale dinamika van neurale aktiwiteit as 'n sentrale meganisme vir masjiendenke te vestig. Anders as konvensionele KI-modelle wat inligting in 'n enkele deurgang verwerk, simuleer CTM 'n meerfasige denkproses wat meer ooreenstem met die werking van die menslike brein.
Geskik vir:
Die revolusie van tydgebaseerde denke
Terwyl tradisionele KI-modelle soos GPT-4 of Llama 3 opeenvolgend werk – insette kom in, uitsette gaan uit – breek CTM met hierdie beginsel. Die stelsel werk met 'n interne tydkonsep, sogenaamde "tikkies" of diskrete tydstappe, waardeur die model se interne toestand inkrementeel ontwikkel. Hierdie benadering maak iteratiewe aanpassing moontlik en skep 'n proses wat meer ooreenstem met 'n natuurlike denkproses as 'n blote reaksie.
“Die CTM werk met 'n interne konsep van tyd, die sogenaamde 'interne bosluise', wat ontkoppel is van die data-invoer,” verduidelik Sakana KI. “Dit laat die model toe om deur verskeie stappe te ‘dink’ wanneer take opgelos word, in plaas daarvan om onmiddellik 'n besluit in 'n enkele beweging te neem.”
Die kern van hierdie benadering lê in die gebruik van neurale sinchronisasie as 'n fundamentele voorstellingsmeganisme. Sakana KI het inspirasie geput uit die werking van biologiese breine, waar temporale koördinasie tussen neurone 'n deurslaggewende rol speel. Hierdie biologiese inspirasie gaan verder as blote metafoor en vorm die fondament van hul KI-ontwikkelingsfilosofie.
Neuronvlakmodelle: Die Tegniese Grondslae
Die CTM stel 'n komplekse neurale argitektuur bekend as "Neuron-vlakmodelle" (NLM's). Elke neuron het sy eie gewigsparameters en hou 'n geskiedenis van vorige aktiverings dop. Hierdie geskiedenisse beïnvloed die neurone se gedrag oor tyd, wat meer dinamiese verwerking moontlik maak as konvensionele kunsmatige neurale netwerke.
Die denkproses ontvou in verskeie interne stappe. Eerstens verwerk 'n "sinaptiese model" die huidige neuronale toestande sowel as eksterne invoerdata om aanvanklike seine te genereer - die sogenaamde vooraktiverings. Vervolgens verkry individuele "neuronmodelle" toegang tot die geskiedenis van hierdie seine om hul volgende toestande te bereken.
Die neuronale toestande word oor tyd aangeteken om die sterkte van sinchronisasie tussen die neurone te analiseer. Hierdie sinchronisasie vorm die sentrale interne voorstelling van die model. 'n Bykomende aandagmeganisme laat die stelsel toe om selektief relevante dele van die invoerdata te kies en te verwerk.
Prestasie- en praktiese toetse
In 'n reeks eksperimente het Sakana KI die werkverrigting van CTM met gevestigde argitekture vergelyk. Die resultate toon belowende vordering in verskeie toepassingsgebiede:
Beeldklassifikasie en visuele verwerking
Op die bekende ImageNet 1K-datastel behaal CTM 'n Top 1-akkuraatheid van 72.47% en 'n Top 5-akkuraatheid van 89.89%. Alhoewel hierdie waardes nie volgens vandag se standaarde topvlak is nie, beklemtoon Sakana AI dat dit nie die primêre doel van die projek is nie. Dit is noemenswaardig dat dit die eerste poging is om neurale dinamika as 'n voorstelling vir ImageNet-klassifikasie te gebruik.
In toetse met die CIFAR-10-datastel het die CTM ook effens beter gevaar as konvensionele modelle, met voorspellings wat meer soortgelyk is aan menslike besluitneming. Op CIFAR-10H behaal die CTM 'n kalibrasiefout van slegs 0.15, wat beide mense (0.22) en LSTM's (0.28) oortref.
Komplekse probleemoplossing
In pariteitstake met 'n lengte van 64 bereik die CTM 'n indrukwekkende 100% akkuraatheid met meer as 75 kloksiklusse, terwyl LSTM's vashaak by minder as 60% akkuraatheid met 'n maksimum van 10 effektiewe kloksiklusse. In 'n doolhof-eksperiment het die model gedrag soortgelyk aan stap-vir-stap roetebeplanning gedemonstreer, met 'n sukseskoers van 80%, in vergelyking met 45% vir LSTM's en slegs 20% vir voorwaartse netwerke.
Veral interessant is die model se vermoë om sy verwerkingsdiepte dinamies aan te pas: dit stop vroeër vir eenvoudige take en bereken langer vir meer komplekse take. Dit werk sonder bykomende verliesgewende funksies en is 'n inherente kenmerk van die argitektuur.
Interpreteerbaarheid en deursigtigheid
'n Sleutelkenmerk van die CTM is die interpreteerbaarheid daarvan. Tydens beeldverwerking skandeer die aandagkoppe sistematies relevante kenmerke, wat insig gee in die model se "denkproses". In doolhof-eksperimente het die stelsel gedrag vertoon soortgelyk aan die stap-vir-stap beplanning van 'n roete - 'n gedrag wat, volgens die ontwikkelaars, emergent is en nie eksplisiet geprogrammeer is nie.
Sakana KI bied selfs 'n interaktiewe demonstrasie waarin 'n CTM-stelsel sy pad uit 'n doolhof vind in tot 150 stappe binne die blaaier. Hierdie deursigtigheid is 'n beduidende voordeel bo baie moderne KI-stelsels, waarvan die besluitneming dikwels as 'n "swart boks" beskou word.
Geskik vir:
Uitdagings en beperkings
Ten spyte van die belowende resultate, staar CTM steeds beduidende uitdagings in die gesig:
- Berekeningspoging: Elke interne kloksiklus vereis volledige vorentoe-deurgange, wat opleidingskoste met ongeveer drie keer verhoog in vergelyking met LSTM's.
- Skaalbaarheid: Huidige implementerings kan 'n maksimum van 1 000 neurone verwerk, en skalering na transformatorgrootte (≥1 miljard parameters) is nog nie getoets nie.
- Toepassingsgebiede: Alhoewel CTM goeie resultate in spesifieke toetse toon, moet nog gesien word of hierdie voordele ook in breë praktiese toepassings sal vertaal.
Die navorsers het ook met verskillende modelgroottes geëksperimenteer en gevind dat hoewel meer neurone tot meer diverse aktiwiteitspatrone gelei het, dit nie outomaties die resultate verbeter het nie. Dit dui op komplekse verwantskappe tussen modelargitektuur, grootte en werkverrigting.
Sakana KI: 'n Nuwe benadering tot kunsmatige intelligensie
Sakana AI is in Julie 2023 gestig deur KI-visionêre David Ha en Lion Jones, beide voormalige Google-navorsers, saam met Ren Ito, 'n voormalige Mercari-werknemer en amptenaar by die Japannese Ministerie van Buitelandse Sake. Die maatskappy volg 'n fundamenteel ander benadering as baie gevestigde KI-ontwikkelaars.
In plaas daarvan om die konvensionele roete van massiewe, hulpbron-intensiewe KI-modelle te volg, put Sakana KI inspirasie uit die natuur, veral die kollektiewe intelligensie van skole visse en swerms voëls. Anders as maatskappye soos OpenAI, wat groot, kragtige modelle soos ChatGPT ontwikkel, maak Sakana KI staat op 'n gedesentraliseerde benadering met kleiner, samewerkende KI-modelle wat doeltreffend saamwerk.
Hierdie filosofie word ook in CTM weerspieël. In plaas daarvan om bloot groter modelle met meer parameters te bou, fokus Sakana KI op fundamentele argitektoniese innovasies wat die manier waarop KI-stelsels inligting verwerk, fundamenteel kan verander.
'n Paradigmaskuif in KI-ontwikkeling?
Die Deurlopende Gedagtemasjien kan 'n belangrike stap in KI-ontwikkeling aandui. Deur temporale dinamika weer as 'n sentrale element van kunsmatige neurale netwerke bekend te stel, brei Sakana KI die repertoire van gereedskap en konsepte vir KI-navorsing uit.
Die biologiese inspirasie, interpreteerbaarheid en aanpasbare berekeningsdiepte van CTM kan veral waardevol wees in toepassings wat komplekse redenasie en probleemoplossing vereis. Verder kan hierdie benadering lei tot meer doeltreffende KI-stelsels wat minder berekeningshulpbronne benodig.
Of CTM werklik 'n deurbraak verteenwoordig, moet nog gesien word. Die grootste uitdaging sal wees om die belowende resultate van laboratoriumtoetse in praktiese toepassings te vertaal en die argitektuur na groter modelle op te skaal.
Nietemin verteenwoordig die CTM 'n gewaagde en innoverende benadering wat demonstreer dat daar, ten spyte van die indrukwekkende suksesse van huidige KI-stelsels, steeds beduidende ruimte is vir fundamentele innovasie in die argitektuur van kunsmatige neurale netwerke. Sakana KI se Continuous Thought Machine herinner ons daaraan dat ons dalk net aan die begin is van 'n lang reis na die ontwikkeling van werklik mensagtige kunsmatige intelligensie.
Geskik vir:
Jou KI-transformasie-, KI-integrasie- en KI-platformbedryfkenner
☑️ Ons besigheidstaal is Engels of Duits
☑️ NUUT: Korrespondensie in jou landstaal!
Konrad Wolfenstein
Ek sal graag jou en my span as 'n persoonlike adviseur dien.
Jy kan my kontak deur die kontakvorm hier in te vul of bel my eenvoudig by +49 89 89 674 804 (München) . My e-posadres is: wolfenstein ∂ xpert.digital
Ek sien uit na ons gesamentlike projek.
