W ten sposób AI uczy się jak mózg: uczenie się nowego podejścia do systemów AI z Time-Sakana AI i Continuous Machine

Opublikowano: 19 maja 2025 r. / Zaktualizowano: 19 maja 2025 r. – Autor: Konrad Wolfenstein

Jak sztuczna inteligencja uczy się jak mózg: nowe podejście do uczenia się systemów sztucznej inteligencji w czasie – Sakana AI i maszyna ciągłej myśli – zdjęcie: Xpert.Digital

Nowe spojrzenie na ludzkie myślenie: innowacyjny CTM firmy Sakana AI

Myślenie maszynowe 2.0: Dlaczego CTM jest kamieniem milowym

Nowa „Maszyna Ciągłej Myśli” (CTM) japońskiego startupu Sakana AI wyznacza zmianę paradygmatu w badaniach nad sztuczną inteligencją, ustanawiając temporalną dynamikę aktywności neuronowej jako centralny mechanizm myślenia maszynowego. W przeciwieństwie do konwencjonalnych modeli sztucznej inteligencji, które przetwarzają informacje w jednym przebiegu, CTM symuluje wieloetapowy proces myślowy, który bardziej przypomina działanie ludzkiego mózgu.

Nadaje się do:

Eksperyment myślowy | Firmy bez klientów: Analiza przyszłości handlu w świecie napędzanym przez sztuczną inteligencję

Rewolucja myślenia opartego na czasie

Podczas gdy tradycyjne modele AI, takie jak GPT-4 czy Llama 3, działają sekwencyjnie – dane wejściowe przychodzą, dane wyjściowe wychodzą – CTM odchodzi od tej zasady. System działa w oparciu o koncepcję czasu wewnętrznego, tzw. „tyknięcia” lub dyskretne kroki czasowe, poprzez które stan wewnętrzny modelu ewoluuje stopniowo. Takie podejście umożliwia iteracyjną adaptację i tworzy proces, który bardziej przypomina naturalny proces myślowy niż zwykłą reakcję.

„CTM działa w oparciu o wewnętrzną koncepcję czasu, tzw. „wewnętrzne tyknięcia”, które są niezależne od danych wejściowych” – wyjaśnia Sakana AI. „Dzięki temu model może „przemyśleć” kilka kroków podczas rozwiązywania zadań, zamiast podejmować decyzję natychmiast, w jednym przebiegu”

Sednem tego podejścia jest wykorzystanie synchronizacji neuronowej jako fundamentalnego mechanizmu reprezentacji. Sakana AI czerpała inspirację z funkcjonowania biologicznych mózgów, w których koordynacja czasowa między neuronami odgrywa kluczową rolę. Ta biologiczna inspiracja wykracza poza zwykłą metaforę i stanowi fundament ich filozofii rozwoju sztucznej inteligencji.

Modele na poziomie neuronów: podstawy techniczne

CTM wprowadza złożoną architekturę neuronową znaną jako „modele na poziomie neuronów” (NLM). Każdy neuron ma własne parametry wagowe i śledzi historię poprzednich aktywacji. Historie te wpływają na zachowanie neuronów w czasie, umożliwiając bardziej dynamiczne przetwarzanie niż w przypadku konwencjonalnych sztucznych sieci neuronowych.

Proces myślowy przebiega w kilku etapach wewnętrznych. Najpierw „model synaptyczny” przetwarza bieżące stany neuronów oraz zewnętrzne dane wejściowe, aby wygenerować sygnały początkowe – tzw. preaktywacje. Następnie poszczególne „modele neuronowe” uzyskują dostęp do historii tych sygnałów, aby obliczyć ich kolejne stany.

Stany neuronowe są rejestrowane w czasie, aby przeanalizować siłę synchronizacji między neuronami. Synchronizacja ta stanowi centralną, wewnętrzną reprezentację modelu. Dodatkowy mechanizm uwagi pozwala systemowi selektywnie wybierać i przetwarzać istotne fragmenty danych wejściowych.

Testy wydajnościowe i praktyczne

W serii eksperymentów firma Sakana AI porównała wydajność CTM z uznanymi architekturami. Wyniki wskazują na obiecujący postęp w różnych obszarach zastosowań:

Klasyfikacja obrazów i przetwarzanie wizualne

W znanym zbiorze danych ImageNet 1K, CTM osiąga dokładność Top 1 na poziomie 72,47% i Top 5 na poziomie 89,89%. Chociaż wartości te nie są najwyższe według dzisiejszych standardów, Sakana AI podkreśla, że nie jest to główny cel projektu. Warto zauważyć, że jest to pierwsza próba wykorzystania dynamiki neuronowej jako reprezentacji klasyfikacji ImageNet.

W testach z wykorzystaniem zbioru danych CIFAR-10, CTM wypadł również nieco lepiej niż modele konwencjonalne, a jego przewidywania były bardziej zbliżone do ludzkich procesów decyzyjnych. W przypadku CIFAR-10H, CTM osiągnął błąd kalibracji wynoszący zaledwie 0,15, przewyższając zarówno ludzi (0,22), jak i LSTM (0,28).

Rozwiązywanie złożonych problemów

W zadaniach parzystości o długości 64, CTM osiąga imponującą dokładność 100% przy ponad 75 cyklach zegara, podczas gdy LSTM zatrzymują się na poziomie poniżej 60% dokładności przy maksymalnie 10 efektywnych cyklach zegara. W eksperymencie z labiryntem model wykazał zachowanie podobne do planowania trasy krok po kroku, ze wskaźnikiem sukcesu na poziomie 80%, w porównaniu z 45% dla LSTM i zaledwie 20% dla sieci z sprzężeniem zwrotnym.

Szczególnie interesująca jest zdolność modelu do dynamicznego dostosowywania głębokości przetwarzania: zatrzymuje się wcześniej w przypadku prostych zadań i wykonuje obliczenia dłużej w przypadku zadań bardziej złożonych. Działa to bez dodatkowych funkcji stratnych i jest nieodłączną cechą tej architektury.

Interpretowalność i przejrzystość

Kluczową cechą CTM jest jego interpretowalność. Podczas przetwarzania obrazu, głowice uwagi systematycznie skanują istotne cechy, dostarczając wglądu w „proces myślowy” modelu. W eksperymentach z labiryntem, system wykazywał zachowanie podobne do planowania trasy krok po kroku – zachowanie, które, zdaniem twórców, ma charakter emergentny i nie jest jawnie zaprogramowane.

Sakana AI oferuje nawet interaktywne demo, w którym system CTM znajduje wyjście z labiryntu, wykonując do 150 kroków w przeglądarce. Ta transparentność stanowi znaczącą przewagę nad wieloma nowoczesnymi systemami AI, których proces decyzyjny jest często postrzegany jako „czarna skrzynka”.

Nadaje się do:

Rozwój rynku sztucznej inteligencji w Japonii: ulubione, badania, finansowanie, zastosowania i plany na przyszłość

Wyzwania i ograniczenia

Mimo obiecujących wyników, CTM nadal stoi przed poważnymi wyzwaniami:

Nakład obliczeniowy: Każdy cykl zegara wewnętrznego wymaga wykonania pełnych przebiegów do przodu, co zwiększa koszty szkolenia około trzykrotnie w porównaniu z LSTM.
Skalowalność: Obecne implementacje umożliwiają przetwarzanie maksymalnie 1000 neuronów, a skalowanie do rozmiaru transformatora (≥1 miliard parametrów) nie zostało jeszcze przetestowane.
Obszary zastosowań: Choć CTM daje dobre wyniki w konkretnych testach, pozostaje pytanie, czy te zalety przełożą się również na szerokie zastosowania praktyczne.

Naukowcy eksperymentowali również z modelami o różnych rozmiarach i odkryli, że chociaż większa liczba neuronów prowadziła do bardziej zróżnicowanych wzorców aktywności, nie przekładało się to automatycznie na poprawę wyników. Sugeruje to złożone zależności między architekturą modelu, jego rozmiarem i wydajnością.

Sakana AI: Nowe podejście do sztucznej inteligencji

Firma Sakana AI została założona w lipcu 2023 roku przez wizjonerów sztucznej inteligencji, Davida Ha i Liona Jonesa, byłych badaczy Google, a także Ren Ito, byłego pracownika Mercari i urzędnika japońskiego Ministerstwa Spraw Zagranicznych. Firma stosuje zasadniczo inne podejście niż wielu uznanych twórców sztucznej inteligencji.

Zamiast podążać konwencjonalną ścieżką ogromnych, zasobochłonnych modeli AI, Sakana AI czerpie inspirację z natury, a w szczególności ze zbiorowej inteligencji ławic ryb i stad ptaków. W przeciwieństwie do firm takich jak OpenAI, które opracowują duże, wydajne modele, takie jak ChatGPT, Sakana AI opiera się na zdecentralizowanym podejściu z mniejszymi, współpracującymi ze sobą modelami AI, które efektywnie ze sobą współpracują.

Ta filozofia znajduje również odzwierciedlenie w CTM. Zamiast po prostu budować większe modele z większą liczbą parametrów, Sakana AI koncentruje się na fundamentalnych innowacjach architektonicznych, które mogą fundamentalnie zmienić sposób, w jaki systemy AI przetwarzają informacje.

Zmiana paradygmatu w rozwoju sztucznej inteligencji?

Maszyna Ciągłej Myśli może stanowić znaczący krok w rozwoju sztucznej inteligencji. Poprzez ponowne wprowadzenie dynamiki temporalnej jako centralnego elementu sztucznych sieci neuronowych, Sakana AI poszerza repertuar narzędzi i koncepcji w badaniach nad sztuczną inteligencją.

Biologiczna inspiracja, interpretowalność i adaptacyjna głębia obliczeniowa CTM mogą być szczególnie cenne w zastosowaniach wymagających złożonego rozumowania i rozwiązywania problemów. Co więcej, takie podejście może prowadzić do powstania wydajniejszych systemów AI, wymagających mniejszej ilości zasobów obliczeniowych.

Czy CTM rzeczywiście stanowi przełom, dopiero się okaże. Największym wyzwaniem będzie przełożenie obiecujących wyników testów laboratoryjnych na praktyczne zastosowania oraz skalowanie architektury do większych modeli.

Niezależnie od tego, CTM reprezentuje śmiałe i innowacyjne podejście, pokazując, że pomimo imponujących sukcesów obecnych systemów AI, wciąż istnieje znaczny potencjał fundamentalnych innowacji w architekturze sztucznych sieci neuronowych. Maszyna Ciągłej Myśli Sakany AI przypomina nam, że możemy być dopiero na początku długiej drogi do stworzenia prawdziwie ludzkiej sztucznej inteligencji.

Nadaje się do: