Veröffentlicht am: 19. Mai 2025 / Update vom: 19. Mai 2025 – Verfasser: Konrad Wolfenstein
So lernt KI wie ein Gehirn: Ein neuer Ansatz für KI-Systeme mit der Zeit lernen – Sakana AI und Continuous Thought Machine – Bild: Xpert.Digital
Menschliches Denken neu gedacht: Die innovative CTM von Sakana AI
Maschinelles Denken 2.0: Warum die CTM ein Meilenstein ist
Die neue “Continuous Thought Machine” (CTM) des japanischen Start-ups Sakana AI markiert einen Paradigmenwechsel in der KI-Forschung, indem sie die zeitliche Dynamik neuronaler Aktivität als zentralen Mechanismus für maschinelles Denken etabliert. Im Gegensatz zu herkömmlichen KI-Modellen, die Informationen in einem Durchgang verarbeiten, simuliert CTM einen mehrstufigen Denkprozess, der sich stärker an der Funktionsweise des menschlichen Gehirns orientiert.
Passend dazu:
Die Revolution des zeitbasierten Denkens
Während traditionelle KI-Modelle wie GPT-4 oder Llama 3 sequentiell arbeiten – eine Eingabe kommt rein, eine Ausgabe geht raus – bricht CTM mit diesem Prinzip. Das System operiert mit einem internen Zeitkonzept, sogenannten “Ticks” oder diskreten Zeitschritten, durch die sich der interne Zustand des Modells schrittweise entwickelt. Diese Herangehensweise ermöglicht eine iterative Anpassung und erschafft einen Prozess, der eher einem natürlichen Denkvorgang ähnelt als einer bloßen Reaktion.
“Die CTM arbeitet mit einem internen Zeitbegriff, den sogenannten ‘internal ticks’, die vom Dateninput entkoppelt sind”, erklärt Sakana AI. “Dies ermöglicht, dass das Modell bei der Lösung von Aufgaben mehrere Schritte ‘nachdenken’ kann, anstatt sofort eine Entscheidung in einem einzigen Durchlauf zu treffen.”
Der Kern dieses Ansatzes liegt in der Verwendung von neuronaler Synchronisation als fundamentalem Repräsentationsmechanismus. Sakana AI hat sich dabei von der Funktionsweise biologischer Gehirne inspirieren lassen, bei denen zeitliche Koordination zwischen Neuronen eine entscheidende Rolle spielt. Diese biologische Inspiration geht über eine bloße Metapher hinaus und bildet das Fundament ihrer KI-Entwicklungsphilosophie.
Neuron-Level-Models: Die technischen Grundlagen
Die CTM führt eine komplexe neuronale Architektur ein, die als “Neuron-Level Models” (NLMs) bezeichnet wird. Jedes Neuron verfügt dabei über eigene Gewichtsparameter und verfolgt eine Historie vergangener Aktivierungen. Diese Historien beeinflussen das Verhalten der Neuronen im zeitlichen Verlauf und ermöglichen eine dynamischere Verarbeitung als bei herkömmlichen künstlichen neuronalen Netzen.
Der Denkprozess läuft in mehreren internen Schritten ab. Zunächst verarbeitet ein “Synapsen-Modell” die aktuellen Neuronenzustände sowie externe Eingabedaten, um erste Signale zu erzeugen – die sogenannten Prä-Aktivierungen. Anschließend greifen individuelle “Neuronen-Modelle” auf die Historien dieser Signale zurück, um ihre nächsten Zustände zu berechnen.
Die Neuronenzustände werden über die Zeit hinweg aufgezeichnet, um die Synchronisationsstärke zwischen den Neuronen zu analysieren. Diese Synchronisation bildet die zentrale interne Repräsentation des Modells. Ein zusätzlicher Aufmerksamkeitsmechanismus ermöglicht es dem System, gezielt relevante Teile der Eingabedaten auszuwählen und zu verarbeiten.
Leistungsfähigkeit und praktische Tests
In einer Reihe von Experimenten hat Sakana AI die Leistungsfähigkeit der CTM mit etablierten Architekturen verglichen. Die Ergebnisse zeigen vielversprechende Fortschritte in verschiedenen Anwendungsbereichen:
Bildklassifikation und visuelle Verarbeitung
Auf dem bekannten ImageNet-1K-Datensatz erreicht die CTM eine Top-1-Genauigkeit von 72,47% und eine Top-5-Genauigkeit von 89,89%. Obwohl diese Werte für heutige Standards keine Spitzenwerte darstellen, betont Sakana AI, dass dies nicht das primäre Ziel des Projekts sei. Bemerkenswert ist, dass es sich hierbei um den ersten Versuch handelt, neuronale Dynamik als Repräsentationsform für die ImageNet-Klassifikation zu nutzen.
Bei Tests mit dem CIFAR-10-Datensatz schnitt die CTM ebenfalls leicht besser ab als herkömmliche Modelle, wobei ihre Vorhersagen dem menschlichen Entscheidungsverhalten ähnlicher waren. Auf CIFAR-10H erreicht die CTM einen Kalibrierungsfehler von nur 0,15 und übertrifft damit sowohl Menschen (0,22) als auch LSTMs (0,28).
Komplexe Problemlösung
Bei Paritätsaufgaben mit 64er-Länge erreicht die CTM eine beeindruckende Genauigkeit von 100% mit über 75 Takten, während LSTMs bei weniger als 60% Genauigkeit mit maximal 10 effektiven Takten steckenbleiben. In einem Labyrinth-Experiment demonstrierte das Modell ein Verhalten, das dem schrittweisen Planen einer Route ähnelt, mit einer Erfolgsrate von 80%, verglichen mit 45% bei LSTMs und nur 20% bei Feed-Forward-Netzwerken.
Besonders interessant ist die Fähigkeit des Modells, seine Verarbeitungstiefe dynamisch anzupassen: Bei einfachen Aufgaben stoppt es früher, bei komplexeren rechnet es länger. Dies funktioniert ohne zusätzliche Verlustfunktionen und ist eine inhärente Eigenschaft der Architektur.
Interpretierbarkeit und Transparenz
Ein herausragendes Merkmal der CTM ist ihre Interpretierbarkeit. Bei der Bildverarbeitung scannen die Aufmerksamkeitsköpfe systematisch relevante Merkmale, was einen Einblick in den “Denkprozess” des Modells ermöglicht. In Labyrinth-Experimenten zeigte das System ein Verhalten, das dem schrittweisen Planen einer Route ähnelt – ein Verhalten, das laut den Entwicklern emergent ist und nicht explizit programmiert wurde.
Sakana AI stellt sogar eine interaktive Demo bereit, in der ein CTM-System im Browser in bis zu 150 Schritten den Weg aus einem Labyrinth findet. Diese Transparenz ist ein wesentlicher Vorteil gegenüber vielen modernen KI-Systemen, deren Entscheidungsfindung oft als “Black Box” wahrgenommen wird.
Passend dazu:
Herausforderungen und Limitationen
Trotz der vielversprechenden Ergebnisse steht die CTM noch vor erheblichen Herausforderungen:
- Rechenaufwand: Jeder interne Takt erfordert vollständige Vorwärtsdurchläufe, was die Trainingskosten im Vergleich zu LSTMs um etwa das Dreifache erhöht.
- Skalierbarkeit: Aktuelle Implementierungen verarbeiten maximal 1.000 Neuronen, und die Skalierung auf Transformer-Größe (≥1 Milliarde Parameter) ist noch nicht erprobt.
- Anwendungsbereiche: Während die CTM in spezifischen Tests gute Ergebnisse zeigt, bleibt abzuwarten, ob diese Vorteile auch in breiten praktischen Anwendungen zum Tragen kommen.
Die Forschenden experimentierten auch mit verschiedenen Modellgrößen und stellten fest, dass mehr Neuronen zwar zu vielfältigeren Aktivitätsmustern führten, die Ergebnisse aber nicht automatisch verbesserten. Dies deutet auf komplexe Zusammenhänge zwischen Modellarchitektur, Größe und Leistungsfähigkeit hin.
Sakana AI: Ein neuer Ansatz für künstliche Intelligenz
Sakana AI wurde im Juli 2023 von KI-Visionären David Ha und Llion Jones, beides ehemalige Google-Forscher, zusammen mit Ren Ito, einem früheren Mitarbeiter von Mercari und Beamten im japanischen Außenministerium, gegründet. Das Unternehmen verfolgt einen grundlegend anderen Ansatz als viele etablierte KI-Entwickler.
Anstatt den konventionellen Weg massiver, ressourcenintensiver KI-Modelle zu gehen, lässt sich Sakana AI von der Natur inspirieren, insbesondere von der kollektiven Intelligenz von Fischschwärmen und Vogelschwärmen. Im Gegensatz zu Unternehmen wie OpenAI, die umfangreiche, leistungsstarke Modelle wie ChatGPT entwickeln, setzt Sakana AI auf einen dezentralen Ansatz mit kleineren, kollaborativen KI-Modellen, die effizient zusammenarbeiten.
Diese Philosophie spiegelt sich auch in der CTM wider. Statt einfach größere Modelle mit mehr Parametern zu bauen, konzentriert sich Sakana AI auf fundamentale Architekturinnovationen, die die Art und Weise, wie KI-Systeme Informationen verarbeiten, grundlegend verändern könnten.
Ein Paradigmenwechsel in der KI-Entwicklung?
Die Continuous Thought Machine könnte einen bedeutenden Schritt in der KI-Entwicklung markieren. Durch die Wiedereinführung zeitlicher Dynamik als zentrales Element künstlicher neuronaler Netze erweitert Sakana AI das Repertoire an Werkzeugen und Konzepten für die KI-Forschung.
Die biologische Inspiration, die Interpretierbarkeit und die adaptive Berechnungstiefe der CTM könnten insbesondere in Anwendungsbereichen wertvoll sein, die komplexes Schlussfolgern und Problemlösen erfordern. Zudem könnte dieser Ansatz zu effizienteren KI-Systemen führen, die mit weniger Rechenressourcen auskommen.
Ob die CTM tatsächlich einen Durchbruch darstellt, bleibt jedoch abzuwarten. Die größte Herausforderung wird sein, die vielversprechenden Ergebnisse aus den Labortests in praktische Anwendungen zu überführen und die Architektur auf größere Modelle zu skalieren.
Unabhängig davon repräsentiert die CTM einen mutigen und innovativen Ansatz, der zeigt, dass trotz der beeindruckenden Erfolge aktueller KI-Systeme noch viel Raum für grundlegende Innovationen in der Architektur künstlicher neuronaler Netze besteht. Sakana AIs Continuous Thought Machine erinnert uns daran, dass wir möglicherweise erst am Anfang einer langen Reise zur Entwicklung wirklich menschenähnlicher künstlicher Intelligenz stehen.
Passend dazu:
Ihr AI-Transformation, AI-Integration und AI-Plattform Branchenexperte
☑️ Unsere Geschäftssprache ist Englisch oder Deutsch
☑️ NEU: Schriftverkehr in Ihrer Landessprache!
Konrad Wolfenstein
Gerne stehe ich Ihnen und mein Team als persönlicher Berater zur Verfügung.
Sie können mit mir Kontakt aufnehmen, indem Sie hier das Kontaktformular ausfüllen oder rufen Sie mich einfach unter +49 89 89 674 804 (München) an. Meine E-Mail Adresse lautet: wolfenstein∂xpert.digital
Ich freue mich auf unser gemeinsames Projekt.
