Jak se umělá inteligence učí jako mozek: Nový přístup k učení systémů umělé inteligence v čase – Sakana AI a Continuous Thought Machine

Publikováno: 19. května 2025 / Aktualizováno: 19. května 2025 – Autor: Konrad Wolfenstein

Jak se umělá inteligence učí jako mozek: Nový přístup k učení systémů umělé inteligence v průběhu času – Sakana AI a Continuous Thought Machine – Obrázek: Xpert.Digital

Nové pojetí lidského myšlení: Inovativní CTM od Sakana AI

Strojové myšlení 2.0: Proč je CTM milníkem

Nový „Continuous Thought Machine“ (CTM) od japonského startupu Sakana AI představuje zásadní změnu ve výzkumu umělé inteligence tím, že stanovuje časovou dynamiku nervové aktivity jako ústřední mechanismus strojového myšlení. Na rozdíl od konvenčních modelů umělé inteligence, které zpracovávají informace v jednom průchodu, CTM simuluje vícestupňový myšlenkový proces, který se více podobá fungování lidského mozku.

Vhodné pro:

Myšlenkový experiment | Firmy bez zákazníků: Analýza budoucnosti obchodu ve světě řízeném umělou inteligencí

Revoluce myšlení založeného na čase

Zatímco tradiční modely umělé inteligence, jako jsou GPT-4 nebo Llama 3, fungují sekvenčně – vstup přichází, výstup odchází – CTM se s tímto principem rozchází. Systém pracuje s konceptem vnitřního času, tzv. „tiknutími“ neboli diskrétními časovými kroky, kterými se vnitřní stav modelu postupně vyvíjí. Tento přístup umožňuje iterativní adaptaci a vytváří proces, který se spíše podobá přirozenému myšlenkovému procesu než pouhé reakci.

„CTM pracuje s interním konceptem času, takzvanými ‚interními tiky‘, které jsou odděleny od vstupních dat,“ vysvětluje Sakana AI. „To umožňuje modelu ‚promyslet‘ několik kroků při řešení úkolů, místo aby se rozhodoval okamžitě v jednom kroku.“

Jádrem tohoto přístupu je využití neuronové synchronizace jako základního reprezentačního mechanismu. Sakana AI se inspirovala fungováním biologických mozků, kde hraje klíčovou roli časová koordinace mezi neurony. Tato biologická inspirace jde nad rámec pouhé metafory a tvoří základ jejich filozofie vývoje AI.

Modely na úrovni neuronů: Technické základy

CTM zavádí komplexní neuronovou architekturu známou jako „modely na úrovni neuronů“ (NLM). Každý neuron má své vlastní váhové parametry a sleduje historii minulých aktivací. Tato historie ovlivňuje chování neuronů v čase, což umožňuje dynamičtější zpracování než u konvenčních umělých neuronových sítí.

Myšlenkový proces se odvíjí v několika vnitřních krocích. Nejprve „synaptický model“ zpracovává aktuální neuronální stavy i externí vstupní data a generuje počáteční signály – tzv. preaktivace. Následně jednotlivé „neuronové modely“ přistupují k historii těchto signálů a vypočítávají své další stavy.

Neuronální stavy jsou zaznamenávány v průběhu času, aby se analyzovala síla synchronizace mezi neurony. Tato synchronizace tvoří centrální vnitřní reprezentaci modelu. Další mechanismus pozornosti umožňuje systému selektivně vybírat a zpracovávat relevantní části vstupních dat.

Výkonnostní a praktické testy

V sérii experimentů porovnala společnost Sakana AI výkon CTM se zavedenými architekturami. Výsledky ukazují slibný pokrok v různých aplikačních oblastech:

Klasifikace obrazu a vizuální zpracování

Na známém datovém souboru ImageNet 1K dosahuje CTM přesnosti 72,47 % v Top 1 a přesnosti 89,89 % v Top 5. I když tyto hodnoty nejsou podle dnešních standardů špičkové, Sakana AI zdůrazňuje, že to není primární cíl projektu. Je pozoruhodné, že se jedná o první pokus o využití neuronové dynamiky jako reprezentace pro klasifikaci ImageNet.

V testech s využitím datové sady CIFAR-10 si CTM vedl také o něco lépe než konvenční modely, přičemž jeho predikce se více podobaly lidskému rozhodování. Na CIFAR-10H dosahuje CTM kalibrační chyby pouze 0,15, čímž překonává jak lidské (0,22), tak i LSTM (0,28).

Řešení složitých problémů

V úlohách parity s délkou 64 dosahuje CTM působivé 100% přesnosti s více než 75 taktovacími cykly, zatímco LSTM se zaseknou na méně než 60% přesnosti s maximálně 10 efektivními taktovacími cykly. V experimentu s bludištěm model prokázal chování podobné postupnému plánování trasy s úspěšností 80 %, ve srovnání s 45 % u LSTM a pouze 20 % u sítí s dopřednou vazbou.

Obzvláště zajímavá je schopnost modelu dynamicky upravovat hloubku zpracování: u jednoduchých úloh se zastaví dříve a u složitějších úloh to trvá déle. To funguje bez dalších ztrátových funkcí a je to inherentní vlastnost architektury.

Interpretace a transparentnost

Klíčovou vlastností CTM je jeho interpretovatelnost. Během zpracování obrazu hlavice pro sledování pozornosti systematicky skenují relevantní prvky a poskytují tak vhled do „myšlenkového procesu“ modelu. V experimentech s bludištěm systém vykazoval chování podobné postupnému plánování trasy – chování, které je podle vývojářů emergentní a není explicitně naprogramované.

Sakana AI dokonce nabízí interaktivní demo, ve kterém systém CTM najde cestu z bludiště až ve 150 krocích v prohlížeči. Tato transparentnost je významnou výhodou oproti mnoha moderním systémům umělé inteligence, jejichž rozhodování je často vnímáno jako „černá skříňka“.

Vhodné pro:

Vývoj trhu s umělou inteligencí v Japonsku: Oblíbené oblasti, výzkum, financování, aplikace a plány do budoucna

Výzvy a omezení

Navzdory slibným výsledkům čelí CTM stále značným výzvám:

Výpočetní náročnost: Každý cyklus interních hodin vyžaduje kompletní průchody vpřed, což ve srovnání s LSTM zvyšuje náklady na trénování přibližně třikrát.
Škálovatelnost: Současné implementace dokáží zpracovat maximálně 1 000 neuronů a škálování na velikost transformátoru (≥1 miliarda parametrů) dosud nebylo testováno.
Oblasti použití: Ačkoli CTM vykazuje dobré výsledky ve specifických testech, zbývá vidět, zda se tyto výhody projeví i v širokých praktických aplikacích.

Výzkumníci také experimentovali s různými velikostmi modelů a zjistili, že ačkoli více neuronů vedlo k rozmanitějším vzorcům aktivity, automaticky to nezlepšilo výsledky. To naznačuje složité vztahy mezi architekturou modelu, velikostí a výkonem.

Sakana AI: Nový přístup k umělé inteligenci

Společnost Sakana AI založili v červenci 2023 vizionáři v oblasti umělé inteligence David Ha a Lion Jones, oba bývalí výzkumníci společnosti Google, spolu s Renem Item, bývalým zaměstnancem společnosti Mercari a úředníkem japonského ministerstva zahraničních věcí. Společnost zaujímá zásadně odlišný přístup než mnoho zavedených vývojářů umělé inteligence.

Místo konvenční cesty masivních a na zdroje náročných modelů umělé inteligence čerpá Sakana AI inspiraci z přírody, zejména z kolektivní inteligence hejn ryb a hejn ptáků. Na rozdíl od společností jako OpenAI, které vyvíjejí velké a výkonné modely jako ChatGPT, se Sakana AI spoléhá na decentralizovaný přístup s menšími, kolaborativními modely umělé inteligence, které efektivně spolupracují.

Tato filozofie se odráží i v CTM. Sakana AI se místo pouhého vytváření větších modelů s více parametry zaměřuje na základní architektonické inovace, které by mohly zásadně změnit způsob, jakým systémy umělé inteligence zpracovávají informace.

Změna paradigmatu ve vývoji umělé inteligence?

Stroj kontinuálního myšlení by mohl znamenat významný krok ve vývoji umělé inteligence. Znovuzavedením časové dynamiky jako ústředního prvku umělých neuronových sítí rozšiřuje Sakana AI repertoár nástrojů a konceptů pro výzkum umělé inteligence.

Biologická inspirace, interpretovatelnost a adaptivní výpočetní hloubka CTM by mohly být obzvláště cenné v aplikacích vyžadujících komplexní uvažování a řešení problémů. Tento přístup by navíc mohl vést k efektivnějším systémům umělé inteligence, které vyžadují méně výpočetních zdrojů.

Zda CTM skutečně představuje průlom, se teprve uvidí. Největší výzvou bude převedení slibných výsledků z laboratorních testů do praktických aplikací a škálování architektury na větší modely.

CTM však představuje odvážný a inovativní přístup, který dokazuje, že navzdory působivým úspěchům současných systémů umělé inteligence stále existuje značný prostor pro zásadní inovace v architektuře umělých neuronových sítí. Sakana AI Continuous Thought Machine nám připomíná, že se možná nacházíme teprve na začátku dlouhé cesty k vývoji skutečně lidské umělé inteligence.

Vhodné pro: