Opublikowano: 19 maja 2025 / Aktualizacja od: 19 maja 2025 r. - Autor: Konrad Wolfenstein
W ten sposób AI uczy się jak mózg: uczenie się nowego podejścia do systemów AI z AI Time-Sakana i ciągły thoug-obraz: xpert.digital
Ludzkie myślenie nowe: innowacyjny CTM Sakana AI
Maszyna myślenia 2.0: Dlaczego CTM jest kamieniem milowym
Nowa „Continuous Thought Machine” (CTM) japońskiej start-upów Sakana AI oznacza zmianę paradygmatu w badaniach AI poprzez ustalenie dynamiki czasowej aktywności neuronalnej jako centralnego mechanizmu myślenia maszynowego. W przeciwieństwie do konwencjonalnych modeli AI, które przetwarzają informacje w jednej rundzie, CTM symuluje wieloetapowy proces myślenia, który jest bardziej oparty na funkcjonowaniu ludzkiego mózgu.
Nadaje się do:
Rewolucja myślenia opartego na czasie
Podczas gdy pojawiają się tradycyjne modele AI, takie jak GPT-4 lub LAMA 3, wkład sekwencyjnie-wyjście wychodzi z tej zasady. System działa z wewnętrzną koncepcją czasową, więc -podane „kleszcze” lub dyskretne czas, dzięki któremu stopniowo rozwija się wewnętrzny stan modelu. Takie podejście umożliwia iteracyjną adaptację i tworzy proces, który bardziej przypomina naturalny proces myślenia niż sama reakcja.
„CTM działa z wewnętrzną koncepcją czasu, SO -Called„ Wewnętrzne kleszcze ”, które są oddzielone przez wejście danych”, wyjaśnia Sakana AI. „Umożliwia to modelowi„ myślenie ”kilku kroków podczas rozwiązywania zadań zamiast natychmiastowego podejmowania decyzji w jednym przebiegu”.
Rdzeń tego podejścia polega na zastosowaniu synchronizacji neuronalnej jako fundamentalnego mechanizmu reprezentacji. Sakana AI została zainspirowana funkcjonalnością mózgów biologicznych, w której koordynacja czasu między neuronami odgrywa kluczową rolę. Ta biologiczna inspiracja wykracza poza zwykłą metaforę i stanowi podstawę filozofii rozwoju AI.
Modele na poziomie neuronów: fundamenty techniczne
CTM wprowadza złożoną architekturę neuronową, która jest określana jako „modele na poziomie neuronów” (NLM). Każdy neuron ma własne parametry wagi i realizuje historię wcześniejszych aktywacji. Te historyle wpływają na zachowanie neuronów w czasie i umożliwiają bardziej dynamiczne przetwarzanie niż w przypadku konwencjonalnych sieci sztucznych neuronów.
Proces myślenia działa w kilku wewnętrznych etapach. Po pierwsze, „model synapsy” przetwarza aktualne stany neuronu i zewnętrzne dane wejściowe w celu utworzenia pierwszych sygnałów-tak zwanych czynności wstępnych. Następnie poszczególne „modele neuronów” wykorzystują historyki tych sygnałów do obliczenia ich następnych stanów.
Stany neuronowe są rejestrowane w czasie w celu analizy siły synchronizacji między neuronami. Ta synchronizacja tworzy centralną wewnętrzną reprezentację modelu. Dodatkowy mechanizm uwagi umożliwia systemowi wybór i przetwarzanie odpowiednich części danych wejściowych.
Testy wydajności i praktyczne
W wielu eksperymentach Sakana AI porównał wydajność CTM z uznanymi architekturami. Wyniki pokazują obiecujący postęp w różnych obszarach zastosowań:
Klasyfikacja figur i wykonanie wizualne
W dobrze znanym zestawie danych ImageNet-1K CTM osiąga najwyższą dokładność 72,47% i 5 najwyższej dokładności 89,89%. Chociaż te wartości dla dzisiejszych standardów nie reprezentują najwyższych wartości, Sakana AI podkreśla, że nie jest to główny cel projektu. Warto zauważyć, że jest to pierwsza próba wykorzystania dynamiki neuronowej jako formy reprezentacji klasyfikacji ImageNet.
W testach z zestawem danych CIFAR 10 CTM również nieco lepiej niż konwencjonalne modele, przy czym ich prognozy są bardziej podobne do zachowań decyzyjnych ludzi. W CIFAR-10H CTM osiąga błąd kalibracji wynoszący tylko 0,15, a zatem przekracza zarówno ludzi (0,22), jak i LSTMS (0,28).
Złożone rozwiązywanie problemów
W przypadku zadań parzystości o długości 64 CTM osiąga imponującą dokładność 100% przy ponad 75 barach, podczas gdy LSTM utknie z maksymalnie 10 efektywnymi prętami na mniej niż 60%. W eksperymencie labiryntowym model wykazał zachowanie, które przypomina stopniowe planowanie trasy, z wskaźnikiem powodzenia 80%, w porównaniu do 45% w LSTMS i tylko 20% w sieciach napastnika paszowego.
Model modelu jest szczególnie interesujący, aby dynamicznie dostosować jego głębokość przetwarzania: zatrzymuje się wcześniej w przypadku prostych zadań, a bardziej złożony oblicza się dłużej. Działa to bez dodatkowych funkcji strat i jest nieodłączną właściwością architektury.
Interpretacyjność i przejrzystość
Założoną cechą CTM jest jego interpretacja. Podczas przetwarzania obrazu głowicy uwagi skanują systematycznie istotne cechy, które umożliwia wgląd w „proces myślenia” modelu. W eksperymentach labiryntu system wykazał zachowanie, które przypomina stopniowe planowanie zachowania trasy-, które według programistów pojawia się i nie zostało wyraźnie zaprogramowane.
Sakana AI zapewnia nawet interaktywne demo, w którym system CTM w przeglądarce wychodzi z labiryntu w maksymalnie 150 krokach. Ta przejrzystość jest ważną zaletą dla wielu nowoczesnych systemów AI, których proces decyzyjny jest często postrzegany jako „czarna skrzynka”.
Nadaje się do:
Wyzwania i ograniczenia
Pomimo obiecujących rezultatów CTM nadal stoi w obliczu znacznych wyzwań:
- Wysiłki obliczeniowe: Każdy zegar wewnętrzny wymaga pełnych przebiegów do przodu, co zwiększa koszty szkolenia w porównaniu z LSTM o około trzy razy.
- Skalowalność: bieżące implementacje przetwarzają maksymalnie 1000 neuronów, a skalowanie do wielkości transformatora (≥1 miliardów parametrów) nie zostało jeszcze przetestowane.
- Obszary zastosowania: Chociaż CTM wykazuje dobre wyniki w określonych testach, okaże się, czy te zalety są również wykorzystywane w szerokich zastosowaniach praktycznych.
Naukowcy eksperymentowali również z różnymi wielkościami modeli i stwierdzili, że więcej neuronów prowadzi do bardziej zróżnicowanych wzorców aktywności, ale nie poprawiło automatycznie wyników. Wskazuje to złożone relacje między architekturą modelu, rozmiarem i wydajnością.
Sakana AI: Nowe podejście do sztucznej inteligencji
Sakana AI została założona w lipcu 2023 r. Przez wizjonera AI Davida Ha i Lliona Jonesa, oboje byłych badaczy Google, wraz z Ren Ito, byłym pracownikiem Mercari i urzędników w Japońskiej Ministerstwie Spraw Zagranicznych. Firma realizuje fundamentalne podejście niż wielu uznanych programistów AI.
Zamiast spacerować po konwencjonalnej ścieżce bardziej masywne, intensywnie zasobowe modele AI, Sakana AI jest inspirowana naturą, zwłaszcza przez zbiorową inteligencję rojów rybnych i rojów ptaków. W przeciwieństwie do firm takich jak Openaai, które rozwijają obszerne, potężne modele, takie jak Chatgpt, Sakana AI opiera się na zdecentralizowanym podejściu z mniejszymi, współpracującymi modelami AI, które działają skutecznie razem.
Ta filozofia znajduje również odzwierciedlenie w CTM. Zamiast po prostu budować większe modele o większej liczbie parametrów, Sakana AI koncentruje się na podstawowych innowacjach architektonicznych, które mogą zasadniczo zmienić sposób, w jaki systemy AI mogą przetwarzać informacje.
Zmiana paradygmatu w rozwoju AI?
Ciągła maszyna myślowa może oznaczać znaczący krok w rozwoju sztucznej inteligencji. Ponownie wprowadzając dynamikę czasową jako centralny element sztucznych sieci neuronowych, Sakana AI rozszerza repertuar narzędzi i koncepcji badań AI.
Inspiracja biologiczna, interpretacyjność i głębokość obliczeń adaptacyjnych CTM mogą być szczególnie cenne w obszarach zastosowania, które wymagają złożonych wniosków i rozwiązywania problemów. Ponadto takie podejście może prowadzić do bardziej wydajnych systemów AI, które mogą zrobić z mniejszymi zasobami obliczeniowymi.
Okaże się, czy CTM faktycznie reprezentuje przełom. Największym wyzwaniem będzie przekształcenie obiecujących wyników testów laboratoryjnych na praktyczne zastosowania i skalowanie architektury na większe modele.
Niezależnie od tego, CTM stanowi odważne i innowacyjne podejście, które pokazuje, że pomimo imponujących sukcesów obecnych systemów AI, nadal istnieje wiele miejsca na podstawowe innowacje w architekturze sztucznych sieci neuronowych. Sakana Ais Continuous Thought Machine przypomina nam, że możemy być tylko na początku długiej podróży, aby rozwinąć naprawdę ludzką inteligencję.
Nadaje się do:
Twoja transformacja AI, integracja AI i ekspert w branży platformy AI
☑️Naszym językiem biznesowym jest angielski lub niemiecki
☑️ NOWOŚĆ: Korespondencja w Twoim języku narodowym!
Konrada Wolfensteina
Chętnie będę służyć Tobie i mojemu zespołowi jako osobisty doradca.
Możesz się ze mną skontaktować wypełniając formularz kontaktowy lub po prostu dzwoniąc pod numer +49 89 89 674 804 (Monachium) . Mój adres e-mail to: wolfenstein ∂ xpert.digital
Nie mogę się doczekać naszego wspólnego projektu.
