Gepubliseer op: 19 Mei 2025 / Update van: 19 Mei 2025 - Skrywer: Konrad Wolfenstein
Dit is hoe AI soos 'n brein leer: die aanleer
Menslike denke nuut: die innoverende CTM deur Sakana AI
Machine Thinking 2.0: Waarom die CTM 'n mylpaal is
Die nuwe 'deurlopende gedagte-masjien' (CTM) van die Japannese begin Sakana AI is 'n paradigmaverskuiwing in AI-navorsing deur die tydsdinamika van neuronale aktiwiteit as 'n sentrale meganisme vir masjiendenke vas te stel. In teenstelling met konvensionele AI-modelle wat inligting in een rondte verwerk, simuleer CTM 'n meerfase-denkproses wat meer gebaseer is op die werking van die menslike brein.
Geskik vir:
Die rewolusie van tydgebaseerde denke
Terwyl tradisionele AI-modelle soos GPT-4 of LLAMA 3-werk opeenvolgend-'n insette inkom, kom 'n uitset uit CTM-onderbrekings met hierdie beginsel. Die stelsel werk met 'n interne tydkonsep, so 'n 'bosluis' of 'n diskrete tydsberekening waardeur die interne toestand van die model geleidelik ontwikkel. Hierdie benadering stel iteratiewe aanpassing moontlik en skep 'n proses wat meer soos 'n natuurlike denkproses is as 'n blote reaksie.
"Die CTM werk met 'n interne konsep van tyd, die SO -oproepe 'interne bosluise', wat deur die data -inset ontkoppel word," verduidelik Sakana AI. "Dit stel die model in staat om 'n paar stappe te 'dink' by die oplossing van take in plaas daarvan om onmiddellik 'n besluit in 'n enkele lopie te neem."
Die kern van hierdie benadering lê in die gebruik van neuronale sinchronisasie as 'n fundamentele meganisme van voorstelling. Sakana AI is geïnspireer deur die funksionaliteit van biologiese breine, waarin tydskoördinasie tussen neurone 'n belangrike rol speel. Hierdie biologiese inspirasie strek verder as 'n metafoor en vorm die basis van sy AI -ontwikkelingsfilosofie.
Neuronvlakmodelle: die tegniese fondamente
Die CTM stel 'n komplekse neurale argitektuur bekend, wat na verwys word as “neuronvlakmodelle” (NLMS). Elke neuron het sy eie gewigsparameters en volg 'n geskiedenis van aktiverings in die verlede. Hierdie geskiedkundiges beïnvloed die gedrag van die neurone betyds en maak meer dinamiese verwerking moontlik as met konvensionele kunsmatige neuronale netwerke.
Die denkproses loop in verskillende interne stappe. Eerstens verwerk 'n 'sinapsmodel' die huidige neuronstate en eksterne invoerdata om die eerste seine te skep-die sogenaamde vooraktiverings. Daarna gebruik individuele “neuronmodelle” die historiese middels van hierdie seine om hul volgende state te bereken.
Die neuroningstoestande word mettertyd aangeteken om die sinchronisasiekrag tussen die neurone te ontleed. Hierdie sinchronisasie vorm die sentrale interne voorstelling van die model. 'N Bykomende aandagmeganisme stel die stelsel in staat om relevante dele van die invoerdata te kies en te verwerk.
Prestasie en praktiese toetse
In 'n aantal eksperimente het Sakana AI die prestasie van die CTM met gevestigde argitekture vergelyk. Die resultate toon belowende vordering in verskillende toepassingsareas:
Figuur klassifikasie en visuele vakmanskap
Op die bekende ImageNet-1K-datastel behaal die CTM 'n top 1 akkuraatheid van 72,47% en 'n top 5-akkuraatheid van 89,89%. Alhoewel hierdie waardes vir vandag se standaarde nie die topwaardes verteenwoordig nie, beklemtoon Sakana AI dat dit nie die primêre doel van die projek is nie. Dit is opmerklik dat dit die eerste poging is om neurale dinamika te gebruik as 'n vorm van voorstelling vir die ImageNet -klassifikasie.
In toetse met die CIFAR 10-datastel, is die CTM ook effens beter daaraan toe as konvensionele modelle, met hul voorspellings wat meer ooreenstem met menslike besluitnemingsgedrag. By CIFAR-10H bereik die CTM 'n kalibrasiefout van slegs 0,15 en oorskry dit dus beide mense (0.22) en LSTMS (0.28).
Komplekse probleemoplossing
In die geval van pariteitstake met 'n lengte van 64, behaal die CTM 'n indrukwekkende akkuraatheid van 100% met meer as 75 stawe, terwyl LSTMS vas is met 'n maksimum van 10 effektiewe stawe by minder as 60%. In 'n labirint -eksperiment het die model gedrag getoon wat lyk soos die geleidelike beplanning van 'n roete, met 'n suksessyfer van 80%, vergeleke met 45% in LSTMS en slegs 20% in Feed Forward Networks.
Die model van die model is veral interessant om sy verwerkingsdiepte dinamies aan te pas: dit stop vroeër in die geval van eenvoudige take, met meer ingewikkelde dit bereken langer. Dit werk sonder addisionele verliesfunksies en is 'n inherente eienskap van argitektuur.
Interpreteerbaarheid en deursigtigheid
Die interpreteerbaarheid daarvan is 'n uitstekende kenmerk van die CTM. Tydens die beeldverwerking skandeer die aandaghoofde stelselmatig relevante funksies, wat 'n insig in die 'denkproses' van die model moontlik maak. In labirint-eksperimente het die stelsel gedrag getoon wat lyk soos die geleidelike beplanning van 'n Route-A-gedrag wat volgens die ontwikkelaars opkom en nie eksplisiet geprogrammeer is nie.
Sakana AI bied selfs 'n interaktiewe demo waarin 'n CTM -stelsel in die blaaier sy weg uit 'n labirint in tot 150 treë vind. Hierdie deursigtigheid is 'n belangrike voordeel bo baie moderne AI-stelsels, waarvan die besluitnemingsproses dikwels as 'n 'swart boks' beskou word.
Geskik vir:
Uitdagings en beperkings
Ondanks die belowende resultate, het die CTM steeds aansienlike uitdagings:
- Rekenaarpoging: Elke interne klok benodig volledige voorwaartse lopies, wat die opleidingskoste verhoog in vergelyking met LSTMS met ongeveer drie keer.
- Skaalbaarheid: Huidige implementerings verwerk 'n maksimum van 1 000 neurone, en die skaal tot transformatorgrootte (≥ 1 miljard parameters) is nog nie getoets nie.
- Toepassingsareas: Alhoewel die CTM goeie resultate in spesifieke toetse toon, moet dit nog gesien word of hierdie voordele ook in breë praktiese toepassings gebruik word.
Die navorsers het ook met verskillende modelgroottes geëksperimenteer en gevind dat meer neurone tot meer verskillende aktiwiteitspatrone gelei het, maar nie die resultate outomaties verbeter het nie. Dit dui op ingewikkelde verwantskappe tussen modelargitektuur, grootte en prestasie.
Sakana AI: 'n Nuwe benadering tot kunsmatige intelligensie
Sakana AI is in Julie 2023 gestig deur AI Visionary David Ha en Llion Jones, albei van die voormalige Google -navorsers, saam met Ren Ito, 'n voormalige werknemer van Mercari en amptenare in die Japannese ministerie van Buitelandse Sake. Die maatskappy streef na 'n fundamentele benadering as baie gevestigde AI -ontwikkelaars.
In plaas daarvan om die konvensionele pad meer massiewe, hulpbronintensiewe AI-modelle te stap, is Sakana AI deur die natuur geïnspireer, veral deur die kollektiewe intelligensie van visswerms en swerms van voëls. In teenstelling met maatskappye soos OpenAAI, wat uitgebreide, kragtige modelle soos ChatGPT ontwikkel, maak Sakana AI staat op 'n gedesentraliseerde benadering met kleiner, samewerkende AI -modelle wat doeltreffend saamwerk.
Hierdie filosofie word ook weerspieël in die CTM. In plaas daarvan om bloot groter modelle met meer parameters te bou, fokus Sakana AI op fundamentele argitektoniese innovasies wat die manier waarop AI -stelsels inligting kan verwerk, fundamenteel kan verander.
'N Paradigmaverskuiwing in AI -ontwikkeling?
Die deurlopende gedagte -masjien kan 'n belangrike stap in AI -ontwikkeling wees. Deur die tydelike dinamika weer in te stel as 'n sentrale element van kunsmatige neurale netwerke, brei Sakana AI die repertoire van gereedskap en konsepte vir AI -navorsing uit.
Die biologiese inspirasie, interpreteerbaarheid en aanpasbare berekeningdiepte van die CTM kan veral waardevol wees in toepassingsareas wat ingewikkelde gevolgtrekkings en probleemoplossing verg. Daarbenewens kan hierdie benadering lei tot meer doeltreffende AI -stelsels wat met minder rekenaarbronne kan doen.
Dit moet nog gesien word of die CTM eintlik 'n deurbraak verteenwoordig. Die grootste uitdaging is om die belowende resultate van die laboratoriumtoetse in praktiese toepassings te omskep en om die argitektuur na groter modelle te skaal.
Hoe dit ook al sy, die CTM is 'n dapper en innoverende benadering wat toon dat daar ondanks die indrukwekkende suksesse van huidige AI -stelsels nog baie ruimte is vir fundamentele innovasies in die argitektuur van kunsmatige neurale netwerke. Sakana AIS Deurlopende denkmasjien herinner ons daaraan dat ons eers aan die begin van 'n lang reis kan wees om 'n menslike kunsmatige intelligensie te ontwikkel.
Geskik vir:
U AI -transformasie, AI -integrasie en AI -platformbedryfskenner
☑️ Ons besigheidstaal is Engels of Duits
☑️ NUUT: Korrespondensie in jou landstaal!
Konrad Wolfenstein
Ek sal graag jou en my span as 'n persoonlike adviseur dien.
Jy kan my kontak deur die kontakvorm hier in te vul of bel my eenvoudig by +49 89 89 674 804 (München) . My e-posadres is: wolfenstein ∂ xpert.digital
Ek sien uit na ons gesamentlike projek.
