Így tanulja meg az AI, mint egy agy: Új megközelítés megtanulása az AI rendszerekhez, amelyek idő-sakana AI-vel és folyamatos gépi képekkel: xpert.digital
Emberi gondolkodás új: A Sakana AI innovatív CTM
Gépi gondolkodás 2.0: Miért a CTM mérföldkő?
A japán induló Sakana AI új „folyamatos gondolatgépe” (CTM) paradigmaváltást jelöl az AI-kutatásban azáltal, hogy meghatározza a neuronális aktivitás idődinamikáját, mint a gépi gondolkodás központi mechanizmusát. A hagyományos AI modellekkel ellentétben, amelyek egy fordulóban feldolgozzák az információkat, a CTM egy többlépcsős gondolkodásmódot szimulál, amely inkább az emberi agy működésén alapul.
Alkalmas:
Az időalapú gondolkodás forradalma
Míg a hagyományos AI modellek, mint például a GPT-4 vagy a LLAMA 3, szekvenciálisan-egy bemenet jön be, addig a kimenet kimenetele a CTM szünetekkel ezzel az elvvel. A rendszer belső időkoncepcióval működik, tehát úgynevezett „kullancs” vagy diszkrét időzítés, amelyen keresztül a modell belső állapota fokozatosan fejlődik. Ez a megközelítés lehetővé teszi az iteratív adaptációt, és olyan folyamatot hoz létre, amely inkább természetes gondolkodási folyamathoz, mint puszta reakcióhoz hasonlóan.
"A CTM az idő belső koncepciójával működik, az úgynevezett" belső kullancsok ", amelyeket az adatbevitel elválasztott" -magyarázza Sakana AI. "Ez lehetővé teszi a modell számára, hogy több lépést gondoljon a feladatok megoldásakor, ahelyett, hogy egyetlen futamonként döntést hozna."
Ennek a megközelítésnek a lényege abban rejlik, hogy a neuronális szinkronizációt a reprezentáció alapvető mechanizmusaként használják. A Sakana AI -t a biológiai agyok funkcionalitása ihlette, amelyben az idegsejtek közötti időbeli koordináció döntő szerepet játszik. Ez a biológiai inspiráció túlmutat a puszta metaforán, és megalapozza az AI fejlesztési filozófiájának alapját.
Neuron-szintű modellek: A műszaki alapok
A CTM egy komplex neurális architektúrát vezet be, amelyet „neuronszintű modelleknek” (NLMS) neveznek. Mindegyik neuronnak megvan a maga súlyparamétere, és a múltbeli aktivációk történetét követi. Ezek a történelemek időben befolyásolják az idegsejtek viselkedését, és lehetővé teszik a dinamikusabb feldolgozást, mint a hagyományos mesterséges neuronális hálózatoknál.
A gondolkodási folyamat több belső lépésben fut. Először: a „szinapszis modell” feldolgozza a jelenlegi neuronállapotokat és a külső bemeneti adatokat, hogy hozzon létre az első jeleket-az úgynevezett előtakciók. Ezt követően az egyes „neuronmodellek” ezen jelek történelmeit használják a következő állapotuk kiszámításához.
Az idegrendszeri állapotokat idővel rögzítik, hogy elemezzék a neuronok közötti szinkronizációs szilárdságot. Ez a szinkronizálás képezi a modell központi belső ábrázolását. Egy kiegészítő figyelem -mechanizmus lehetővé teszi a rendszer számára, hogy kiválasztja és feldolgozza a bemeneti adatok releváns részeit.
Teljesítmény és gyakorlati tesztek
Számos kísérletben a Sakana AI összehasonlította a CTM teljesítményét a megállapított architektúrákkal. Az eredmények ígéretes előrelépést mutatnak az alkalmazások különböző területein:
Ábra osztályozás és vizuális kivitelezés
A jól ismert ImageNet-1K adatkészletnél a CTM eléri az 1 legfontosabb pontosságot 72,47%, az első 5 pontosság pedig 89,89%. Noha a mai szabványok ezek az értékek nem képviselik a legfontosabb értékeket, a Sakana AI hangsúlyozza, hogy ez nem a projekt elsődleges célja. Figyelemre méltó, hogy ez az első kísérlet a neurális dinamikának a reprezentáció formájaként történő felhasználására az ImageNet osztályozáshoz.
A CIFAR 10 adatkészlettel végzett tesztekben a CTM szintén kissé jobb, mint a hagyományos modellek, előrejelzéseik inkább hasonlítanak az emberi döntéshozatali viselkedéshez. A CIFAR-10H-nál a CTM csak 0,15 kalibrációs hibát ér el, és így meghaladja mind az embereket, mind az LSTM-et (0,28).
Összetett problémamegoldás
A 64 hosszúságú paritásfeladatok esetében a CTM lenyűgöző pontosságot ér el, 100% -kal, több mint 75 rudakkal, míg az LSTM -ek elakadnak, legfeljebb 10 tényleges rudakkal, kevesebb, mint 60%. Egy labirintus kísérletben a modell bebizonyította, hogy az útvonal fokozatos tervezéséhez hasonlít, 80% -os sikerességi rátával, szemben az LSTM -ek 45% -ával és csak 20% -kal a takarmány -előrejelző hálózatokban.
A modell modellje különösen érdekes a feldolgozási mélység dinamikus adaptálására: az egyszerű feladatok esetében korábban leáll, összetettebbvel hosszabb ideig számít. Ez további veszteségi funkciók nélkül működik, és az építészet velejáró tulajdonsága.
Értelmezhetőség és átláthatóság
A CTM kiemelkedő tulajdonsága az értelmezhetősége. A képfeldolgozás során a figyelem fejjel szisztematikusan releváns funkciókat szkennel, amely betekintést tesz lehetővé a modell „gondolkodási folyamatába”. A labirintus kísérletekben a rendszer olyan viselkedést mutatott be, amely hasonlít egy útvonal-A-viselkedés fokozatos tervezésére, amely a fejlesztők szerint kialakul, és nem volt kifejezetten programozva.
A Sakana AI még egy interaktív bemutatót is biztosít, amelyben a böngészőben lévő CTM rendszer akár 150 lépésben is kijut a labirintusból. Ez az átláthatóság fontos előnye sok modern AI rendszerhez képest, amelynek döntéshozatali folyamatát gyakran „fekete doboznak” tekintik.
Alkalmas:
Kihívások és korlátozások
Az ígéretes eredmények ellenére a CTM továbbra is jelentős kihívásokkal néz szembe:
- Számítástechnikai erőfeszítés: Minden belső óra teljes előremenő futást igényel, ami körülbelül háromszor növeli a képzési költségeket az LSTM -hez képest.
- Skálázhatóság: A jelenlegi megvalósítások legfeljebb 1000 neuront dolgozzanak fel, és a transzformátor méretének (≥1 milliárd paraméter) méretarányát még nem tesztelték.
- Alkalmazási területek: Noha a CTM jó eredményeket mutat konkrét tesztekben, még nem kell látni, hogy ezeket az előnyöket széles gyakorlati alkalmazásokban is használják -e.
A kutatók különféle modellméretekkel is kísérleteztek, és megállapították, hogy több neuron változatosabb aktivitási mintákhoz vezetett, de nem javította automatikusan az eredményeket. Ez azt jelzi, hogy a modell architektúrája, méret és teljesítménye közötti összetett összefüggéseket.
Sakana AI: A mesterséges intelligencia új megközelítése
A Sakana AI -t 2023 júliusában alapította az AI Visionary, David Ha és Llion Jones, mind a volt Google kutató, valamint Ren Ito, a Mercari volt alkalmazottja és a japán külügyminisztérium tisztviselői. A társaság alapvető megközelítést folytat, mint sok bevált AI fejlesztő.
Ahelyett, hogy a hagyományos utat a masszív, erőforrás-igényes AI modelleknél sétálnák, a Sakana AI-t a természet ihlette, különösen a halak és a madarak rajjainak kollektív intelligenciája. Az olyan vállalatokkal ellentétben, mint az OpenAAI, amelyek kiterjedt, hatalmas modelleket fejlesztenek ki, mint például a CHATGPT, a Sakana AI egy decentralizált megközelítésre támaszkodik, kisebb, együttműködő AI modellekkel, amelyek hatékonyan működnek együtt.
Ez a filozófia tükröződik a CTM -ben is. Ahelyett, hogy egyszerűbb modelleket épített volna fel több paraméterrel, a Sakana AI az alapvető építészeti innovációkra összpontosít, amelyek alapvetően megváltoztathatják az AI rendszerek feldolgozásának módját.
Paradigmaváltás az AI fejlődésben?
A folyamatos gondolatgép jelentős lépést jelenthet az AI fejlődésben. Az időbeli dinamikának, mint a mesterséges ideghálózatok központi elemének újbóli bevezetésével a Sakana AI kiterjeszti az AI kutatás eszközeinek és koncepcióinak repertoárját.
A CTM biológiai inspirációja, értelmezhetősége és adaptív számítási mélysége különösen értékes lehet olyan alkalmazási területeken, amelyek összetett következtetéseket és problémamegoldást igényelnek. Ezenkívül ez a megközelítés hatékonyabb AI rendszerekhez vezethet, amelyek kevesebb számítási erőforrással képesek megtenni.
Még nem kell látni, hogy a CTM valóban áttörést jelent -e. A legnagyobb kihívás az lesz, hogy a laboratóriumi tesztek ígéretes eredményeit gyakorlati alkalmazásokká alakítsák, és az architektúrát nagyobb modellekké alakítsák.
Ettől függetlenül, a CTM bátor és innovatív megközelítést képvisel, amely azt mutatja, hogy a jelenlegi AI rendszerek lenyűgöző sikerei ellenére még mindig sok hely van az alapvető innovációk számára a mesterséges idegi hálózatok építészetében. A Sakana AIS Folyamatos gondolatgép emlékeztet bennünket, hogy csak egy hosszú utazás kezdetén lehetünk, hogy valóban emberi jellegű mesterséges intelligenciát fejlesszenek ki.
Alkalmas:
Az AI átalakulása, AI integráció és AI platformipar szakértője
☑️ Üzleti nyelvünk angol vagy német
☑️ ÚJ: Levelezés az Ön nemzeti nyelvén!
Konrad Wolfenstein
Szívesen szolgálok Önt és csapatomat személyes tanácsadóként.
Felveheti velem a kapcsolatot az itt található kapcsolatfelvételi űrlap kitöltésével , vagy egyszerűen hívjon a +49 89 89 674 804 (München) . Az e-mail címem: wolfenstein ∂ xpert.digital
Nagyon várom a közös projektünket.
