Kuidas tehisintellekt õpib nagu aju: uus lähenemisviis tehisintellekti süsteemide aja jooksul õppimisele – Sakana tehisintellekt ja pideva mõtte masin – pilt: Xpert.Digital
Inimese mõtlemine uus: Sakana AI uuenduslik CTM
Masina mõtlemine 2.0: miks CTM on verstapost
Jaapani idufirma Sakana AI uus “pidev mõttemasin” (CTM) tähistab AI uurimistöö paradigma nihet, luues neuronaalse aktiivsuse ajadünaamika masina mõtlemise keskse mehhanismina. Vastupidiselt tavapärastele AI-mudelitele, mis töötlevad teavet ühes voorus, simuleerib CTM mitmeastmelist mõtlemisprotsessi, mis põhineb rohkem inimese aju toimimisel.
Sobib selleks:
Ajapõhise mõtlemise revolutsioon
Kuigi traditsioonilised tehisintellekti mudelid nagu GPT-4 või Llama 3 töötavad järjestikku – üks sisend tuleb sisse, üks väljund läheb välja – rikub CTM seda põhimõtet. Süsteem töötab sisemise ajakontseptsiooniga, mida nimetatakse "tiksudeks" ehk diskreetseteks ajasammudeks, mille kaudu mudeli sisemine olek järk-järgult areneb. See lähenemisviis võimaldab iteratiivset kohanemist ja loob protsessi, mis meenutab loomulikku arutluskäiku, mitte pelgalt reaktsiooni.
"CTM töötab sisemise aja kontseptsiooniga, SO -nimega sisemised puugid, mis on andmesisendiga lahutatud," selgitab Sakana AI. "See võimaldab mudelil ülesannete lahendamisel" mõelda "mitu sammu, selle asemel, et otsustada kohe ühel käigul."
Selle lähenemisviisi tuum seisneb neuronaalse sünkroonimise kasutamises kui esitusmehhanismina. Sakana AI oli inspireeritud bioloogiliste ajude funktsionaalsusest, milles neuronite vaheline koordineerimine mängib üliolulist rolli. See bioloogiline inspiratsioon ületab pelgalt metafoori ja moodustab selle AI arengufilosoofia aluse.
Neuronitaseme mudelid: tehnilised alused
CTM tutvustab keerulist närviarhitektuuri, mida nimetatakse neuronitaseme mudeliteks (NLMS). Igal neuronil on oma kaaluparameetrid ja ta on anamneesis varasemate aktiveerimiste ajalugu. Need ajaloolised väljaanded mõjutavad neuronite käitumist ajas ja võimaldavad dünaamilisemat töötlemist kui tavaliste kunstlike neuronaalsete võrkude puhul.
Arutlusprotsess toimub mitmes sisemises etapis. Esiteks töötleb "sünapsimudel" neuronite praeseid olekuid ja väliseid sisendandmeid, et genereerida algsignaale – nn eelaktiveerimisi. Seejärel pääsevad individuaalsed "neuronimudelid" nende signaalide ajaloole ligi, et arvutada oma järgmised olekud.
Neuronite olekud registreeritakse aja jooksul, et analüüsida neuronite vahelist sünkroonimistugevust. See sünkroonimine moodustab mudeli keskse sisemise esituse. Täiendav tähelepanu mehhanism võimaldab süsteemil valida ja töötleda sisendandmete asjakohaseid osi.
Jõudlus ja praktilised testid
Mitmetes katsetes võrdles Sakana AI CTM -i jõudlust väljakujunenud arhitektuuridega. Tulemused näitavad paljulubavaid edusamme erinevates rakendusvaldkondades:
Jooniste klassifikatsioon ja visuaalne töötlus
Tuntud ImageNet-1K andmekogumil saavutab CTM 1 parima täpsuse 72,47% ja 5 parimat täpsust 89,89%. Ehkki need tänapäeva standardite väärtused ei esinda tippväärtusi, rõhutab Sakana AI, et see pole projekti peamine eesmärk. Tähelepanuväärne on, et see on esimene katse kasutada närvünaamikat ImageNeti klassifikatsiooni esindatuse vormina.
CIFAR 10 andmekogumiga testides on CTM ka pisut parem kui tavapärased mudelid, nende ennustused on sarnased inimese otsustuskäitumisega. CIFAR-10H juures saavutab CTM kalibreerimisviga ainult 0,15 ja seega ületab mõlemad inimesed (0,22) ja LSTMS (0,28).
Keeruline probleemide lahendamine
Pariteediülesannete korral, mille pikkus on 64, saavutab CTM muljetavaldava täpsuse 100% üle 75 baari, samas kui LSTMS takerdub maksimaalselt 10 efektiivse ribaga alla 60%. Labürindi eksperimendis näitas mudel käitumist, mis sarnaneb marsruudi järkjärgulise planeerimisega, edukuse määr 80%, võrreldes 45% -ga LSTMS-is ja ainult 20% -ga edasi-tagasi võrkude puhul.
Mudeli mudel on eriti huvitav oma töötlemissügavuse dünaamiliseks kohandamiseks: lihtsate ülesannete korral peatub see varem, keerukam on see pikem. See töötab ilma täiendavate kahjumisfunktsioonideta ja on arhitektuuri loomupärane omadus.
Tõlgendatavus ja läbipaistvus
CTM-i silmatorkav omadus on selle tõlgendatavus. Kujutise töötlemise ajal skaneerivad tähelepanupead süstemaatiliselt olulisi tunnuseid, andes ülevaate mudeli "mõtteprotsessist". Labürindikatsetes näitas süsteem käitumist, mis sarnanes marsruudi samm-sammult planeerimisega – käitumine, mis arendajate sõnul on tekkiv ja mitte otseselt programmeeritud.
Sakana AI pakub isegi interaktiivset demo, milles brauseris CTM -süsteem leiab labürindist välja kuni 150 sammu. See läbipaistvus on oluline eelis paljude kaasaegsete AI-süsteemide ees, mille otsustusprotsessi tajutakse sageli kui musta kasti.
Sobib selleks:
Väljakutsed ja piirangud
Vaatamata paljutõotavatele tulemustele seisab CTM silmitsi märkimisväärsete väljakutsetega:
- Arvutuspüüdlus: iga sisemine kell nõuab täielikku edasiliikumist, mis suurendab treeningkulusid võrreldes LSTMS -iga umbes kolm korda.
- Mastaapsus: praegune rakendamine töötleb maksimaalselt 1000 neuronit ja trafo suuruse skaleerimist (≥1 miljardit parameetrit) ei ole veel testitud.
- Rakendusvaldkonnad: Kuigi CTM näitab konkreetsetes testides häid tulemusi, tuleb veel näha, kas neid eeliseid kasutatakse ka laias praktilises rakenduses.
Teadlased katsetasid ka erinevaid mudelisuurusi ja leidsid, et rohkem neuroneid viis mitmekesisemate aktiivsuse mustriteni, kuid ei parandanud tulemusi automaatselt. See näitab keerulisi suhteid mudeli arhitektuuri, suuruse ja jõudluse vahel.
Sakana AI: uus lähenemine tehisintellektile
Sakana AI asutasid 2023. aasta juulis AI visionäär David Ha ja Llion Jones, mõlemad endised Google'i teadlased, koos Ren Ito, Mercari endise töötaja ja Jaapani välisministeeriumi ametnikega. Ettevõte jätkab põhimõttelist lähenemist kui paljud asutatud AI arendajad.
Selle asemel, et kõndida tavapärase tee massiivsemaid, ressursimahukamaid AI-mudeleid, on Sakana AI inspireeritud loodusest, eriti lindude sülemite ja sülemite kollektiivne intelligentsus. Vastupidiselt sellistele ettevõtetele nagu OpenAai, mis arendab ulatuslikke võimsaid mudeleid nagu Chatgpt, tugineb Sakana AI detsentraliseeritud lähenemisviisile, millel on väiksemad, koostööd töötavad AI -mudelid, mis töötavad tõhusalt koos.
See filosoofia kajastub ka CTM -is. Suuremate parameetritega suuremate mudelite ehitamise asemel keskendub Sakana AI põhilistele arhitektuurilistele uuendustele, mis võiksid põhimõtteliselt muuta AI -süsteemide teavet töötlemise viisi.
Paradigma nihe AI arengus?
Pidev mõttemasin võib tähistada olulist sammu AI arendamisel. Ajalise dünaamika taaskehtestamisena kunstlike närvivõrkude keskse elemendina laiendab Sakana AI AI -uuringute tööriistade ja kontseptsioonide repertuaari.
CTM -i bioloogiline inspiratsioon, tõlgendatavus ja adaptiivne arvutussügavus võivad olla eriti väärtuslikud rakenduspiirkondades, mis nõuavad keerulisi järeldusi ja probleemide lahendamist. Lisaks võib see lähenemisviis viia tõhusamate AI -süsteemideni, mis saavad teha vähem arvutusressursse.
Jääb üle vaadata, kas CTM esindab tegelikult läbimurret. Suurim väljakutse on muuta laboratoorsete testide paljutõotavad tulemused praktilisteks rakendusteks ja laiendada arhitektuuri suuremateks mudeliteks.
Sellest hoolimata esindab CTM vaprat ja uuenduslikku lähenemisviisi, mis näitab, et vaatamata praeguste AI -süsteemide muljetavaldavatele õnnestumistele on kunstlike närvivõrkude arhitektuuris endiselt palju põhjalikke uuendusi. Sakana AIS pidev mõttemasin tuletab meile meelde, et võime olla ainult pika teekonna alguses, et arendada tõeliselt inimlikku tehisintellekti.
Sobib selleks:
Teie AI ümberkujundamine, AI integreerimine ja AI platvormi tööstuse ekspert
☑️ Meie ärikeel on inglise või sakslane
☑️ Uus: kirjavahetus teie riigikeeles!
Konrad Wolfenstein
Mul on hea meel, et olete teile ja minu meeskonnale isikliku konsultandina kättesaadav.
Võite minuga ühendust võtta, täites siin kontaktvormi või helistage mulle lihtsalt telefonil +49 89 674 804 (München) . Minu e -posti aadress on: Wolfenstein ∂ xpert.digital
Ootan meie ühist projekti.
