Megjelent: 2025. május 19. / Frissítve: 2025. május 19. – Szerző: Konrad Wolfenstein
Hogyan tanul a mesterséges intelligencia, mint egy agy: Új megközelítés a mesterséges intelligencia rendszerek időbeli tanulásához – Sakana MI és Continuous Thought Machine – Kép: Xpert.Digital
Az emberi gondolkodás újragondolása: a Sakana AI innovatív CTM-je
Gépi Gondolkodás 2.0: Miért mérföldkő a CTM
A japán Sakana AI startup új „Folyamatos Gondolatgépe” (CTM) paradigmaváltást jelent a mesterséges intelligencia kutatásában azáltal, hogy az idegi aktivitás időbeli dinamikáját a gépi gondolkodás központi mechanizmusaként határozza meg. A hagyományos, egyetlen menetben információkat feldolgozó MI-modellekkel ellentétben a CTM egy többlépcsős gondolkodási folyamatot szimulál, amely jobban hasonlít az emberi agy működéséhez.
Alkalmas:
Az időalapú gondolkodás forradalma
Míg a hagyományos MI-modellek, mint például a GPT-4 vagy a Llama 3, szekvenciálisan működnek – bemenet érkezik, kimenet ki –, a CTM szakít ezzel az elvvel. A rendszer egy belső időelmélettel, úgynevezett „kattanásokkal” vagy diszkrét időlépésekkel működik, amelyeken keresztül a modell belső állapota lépésenként fejlődik. Ez a megközelítés lehetővé teszi az iteratív adaptációt, és egy olyan folyamatot hoz létre, amely jobban hasonlít egy természetes gondolkodási folyamatra, mint egy puszta reakcióra.
„A CTM az idő belső fogalmával, az úgynevezett „belső ketyegekkel” működik, amelyek függetlenek az adatbeviteltől” – magyarázza a Sakana mesterséges intelligencia. „Ez lehetővé teszi a modell számára, hogy a feladatok megoldása során több lépésben is »átgondolja« magát, ahelyett, hogy egyetlen menetben azonnal döntést hozna.”
Ennek a megközelítésnek a lényege a neurális szinkronizáció, mint alapvető reprezentációs mechanizmus használata. A Sakana AI a biológiai agy működéséből merített ihletet, ahol a neuronok közötti időbeli koordináció kulcsszerepet játszik. Ez a biológiai inspiráció túlmutat a puszta metaforán, és képezi a mesterséges intelligencia fejlesztési filozófiájuk alapját.
Neuron szintű modellek: a technikai alapok
A CTM egy összetett neurális architektúrát vezet be, amelyet „neuronszintű modelleknek” (NLM) neveznek. Minden neuronnak saját súlyparaméterei vannak, és nyomon követi a múltbeli aktivációk előzményeit. Ezek az előzmények befolyásolják a neuronok viselkedését az idő múlásával, lehetővé téve a dinamikusabb feldolgozást, mint a hagyományos mesterséges neurális hálózatok.
A gondolkodási folyamat több belső lépésben bontakozik ki. Először egy „szinaptikus modell” feldolgozza az aktuális neuronális állapotokat, valamint a külső bemeneti adatokat, hogy kezdeti jeleket – az úgynevezett előaktivációkat – generáljon. Ezt követően az egyes „neuronmodellek” hozzáférnek ezen jelek előzményeihez, hogy kiszámítsák következő állapotaikat.
Az idegsejtek állapotát idővel rögzítik, hogy elemezzék a neuronok közötti szinkronizáció erősségét. Ez a szinkronizáció alkotja a modell központi belső reprezentációját. Egy további figyelmi mechanizmus lehetővé teszi a rendszer számára, hogy szelektíven kiválassza és feldolgozza a bemeneti adatok releváns részeit.
Teljesítmény- és gyakorlati tesztek
Egy kísérletsorozatban a Sakana AI összehasonlította a CTM teljesítményét a már bevett architektúrákéval. Az eredmények ígéretes előrelépést mutatnak a különböző alkalmazási területeken:
Képosztályozás és vizuális feldolgozás
A jól ismert ImageNet 1K adathalmazon a CTM 72,47%-os Top 1 és 89,89%-os Top 5 pontosságot ér el. Bár ezek az értékek a mai mércével mérve nem csúcskategóriásak, a Sakana AI hangsúlyozza, hogy ez nem a projekt elsődleges célja. Érdemes megjegyezni, hogy ez az első kísérlet a neurális dinamika ImageNet osztályozás reprezentációjaként való felhasználására.
A CIFAR-10 adathalmazt használó tesztekben a CTM valamivel jobban teljesített, mint a hagyományos modellek, előrejelzései jobban hasonlítottak az emberi döntéshozatalhoz. A CIFAR-10H esetében a CTM kalibrációs hibája mindössze 0,15, meghaladva mind az emberek (0,22), mind az LSTM-ek (0,28) hibáját.
Komplex problémamegoldás
64 elem hosszúságú paritásfeladatokban a CTM lenyűgöző, 100%-os pontosságot ér el több mint 75 órajelciklussal, míg az LSTM-ek kevesebb mint 60%-os pontossággal elakadnak maximum 10 effektív órajelciklussal. Egy labirintuskísérletben a modell a lépésenkénti útvonaltervezéshez hasonló viselkedést mutatott, 80%-os sikerességi aránnyal, szemben az LSTM-ek 45%-ával és az előrecsatolt hálózatok mindössze 20%-ával.
Különösen érdekes a modell azon képessége, hogy dinamikusan tudja állítani a feldolgozási mélységet: egyszerű feladatoknál korábban áll le, összetettebbeknél pedig hosszabb időt vesz igénybe a számítás. Ez további veszteséges függvények nélkül működik, és az architektúra inherens jellemzője.
Értelmezhetőség és átláthatóság
A CTM egyik kulcsfontosságú jellemzője az értelmezhetősége. A képfeldolgozás során a figyelemfelkeltő fejek szisztematikusan pásztázzák a releváns jellemzőket, betekintést nyújtva a modell „gondolkodási folyamatába”. Labirintuskísérletekben a rendszer a lépésről lépésre történő útvonaltervezéshez hasonló viselkedést mutatott – ez a viselkedés a fejlesztők szerint emergens és nem explicit módon programozott.
A Sakana AI egy interaktív demót is kínál, amelyben egy CTM-rendszer akár 150 lépésben is kijuthat egy labirintusból a böngészőn belül. Ez az átláthatóság jelentős előnyt jelent számos modern MI-rendszerrel szemben, amelyek döntéshozatalát gyakran „fekete dobozként” érzékelik.
Alkalmas:
Kihívások és korlátozások
Az ígéretes eredmények ellenére a CTM továbbra is jelentős kihívásokkal néz szembe:
- Számítási ráfordítás: Minden belső órajelciklus teljes előrehaladást igényel, ami körülbelül háromszorosára növeli a betanítási költségeket az LSTM-ekhez képest.
- Skálázhatóság: A jelenlegi implementációk maximum 1000 neuront tudnak feldolgozni, és a transzformátor méretére (≥1 milliárd paraméter) való skálázást még nem tesztelték.
- Alkalmazási területek: Bár a CTM jó eredményeket mutat bizonyos tesztekben, még nem tudni, hogy ezek az előnyök széleskörű gyakorlati alkalmazásokban is hasznosulnak-e.
A kutatók különböző modellméretekkel is kísérleteztek, és azt találták, hogy bár a több neuron változatosabb aktivitási mintázatokat eredményezett, nem javították automatikusan az eredményeket. Ez összetett összefüggésekre utal a modell architektúrája, mérete és teljesítménye között.
Sakana AI: A mesterséges intelligencia új megközelítése
A Sakana AI-t 2023 júliusában alapította David Ha és Lion Jones, a Google korábbi kutatói, valamint Ren Ito, a Mercari korábbi alkalmazottja és a japán külügyminisztérium tisztviselője. A vállalat alapvetően eltérő megközelítést alkalmaz, mint sok elismert MI-fejlesztő.
A hagyományos, hatalmas, erőforrás-igényes MI-modellek helyett a Sakana AI a természetből merít ihletet, különösen a halrajok és madárrajok kollektív intelligenciájából. Az olyan vállalatokkal ellentétben, mint az OpenAI, amelyek nagy, hatékony modelleket, például a ChatGPT-t fejlesztenek, a Sakana AI decentralizált megközelítésre támaszkodik, kisebb, együttműködő MI-modellekkel, amelyek hatékonyan működnek együtt.
Ez a filozófia tükröződik a CTM-ben is. Ahelyett, hogy egyszerűen nagyobb, több paraméterrel rendelkező modelleket építene, a Sakana AI olyan alapvető architekturális újításokra összpontosít, amelyek alapjaiban megváltoztathatják a mesterséges intelligencia rendszerek információfeldolgozásának módját.
Paradigmaváltás a mesterséges intelligencia fejlesztésében?
A Folyamatos Gondolatgép jelentős lépést jelenthet a mesterséges intelligencia fejlesztésében. Azzal, hogy az időbeli dinamikát újra bevezeti a mesterséges neurális hálózatok központi elemeként, a Sakana AI kibővíti az MI-kutatás eszközeinek és koncepcióinak repertoárját.
A CTM biológiai inspirációja, értelmezhetősége és adaptív számítási mélysége különösen értékes lehet az összetett gondolkodást és problémamegoldást igénylő alkalmazásokban. Továbbá ez a megközelítés hatékonyabb, kevesebb számítási erőforrást igénylő MI-rendszerekhez vezethet.
Hogy a CTM valóban áttörést jelent-e, az még a jövő zenéje. A legnagyobb kihívás a laboratóriumi tesztek ígéretes eredményeinek gyakorlati alkalmazásokká való átültetése és az architektúra nagyobb modellekre való skálázása lesz.
Ettől függetlenül a CTM egy merész és innovatív megközelítést képvisel, amely azt mutatja, hogy a jelenlegi MI-rendszerek lenyűgöző sikerei ellenére még mindig jelentős tér van az alapvető innovációra a mesterséges neurális hálózatok architektúrájában. A Sakana AI Continuous Thought Machine (Folyamatos Gondolatgép) emlékeztet minket arra, hogy talán még csak egy hosszú út elején járunk a valóban emberszerű mesterséges intelligencia kifejlesztése felé.
Alkalmas:
Az Ön mesterséges intelligencia-átalakítási, mesterséges intelligencia-integrációs és mesterséges intelligencia-platform iparági szakértője
☑️ Üzleti nyelvünk angol vagy német
☑️ ÚJ: Levelezés az Ön nemzeti nyelvén!
Konrad Wolfenstein
Szívesen szolgálok Önt és csapatomat személyes tanácsadóként.
Felveheti velem a kapcsolatot az itt található kapcsolatfelvételi űrlap kitöltésével , vagy egyszerűen hívjon a +49 89 89 674 804 (München) . Az e-mail címem: wolfenstein ∂ xpert.digital
Nagyon várom a közös projektünket.
