C'est ainsi que l'IA apprend comme un cerveau: apprendre une nouvelle approche des systèmes d'IA avec Time-Sakana AI et continue à la machine

Publié le: 19 mai 2025 / mise à jour de: 19 mai 2025 - Auteur: Konrad Wolfenstein

C'est ainsi que l'IA apprend comme un cerveau: l'apprentissage d'une nouvelle approche pour les systèmes d'IA avec Time-sakana Ai et continuez la machine-image: xpert.digital

Pensée humaine Nouveau: le CTM innovant par Sakana AI

Machine Thinking 2.0: Pourquoi le CTM est une étape importante

La nouvelle «machine à réflexion continue» (CTM) de la start-up japonaise Sakana AI marque un changement de paradigme dans la recherche sur l'IA en établissant la dynamique du temps de l'activité neuronale en tant que mécanisme central pour la pensée des machines. Contrairement aux modèles d'IA conventionnels qui traitent les informations en un seul tour, CTM simule un processus de pensée en plusieurs étapes qui est plus basé sur le fonctionnement du cerveau humain.

Convient à:

Jeu commémoratif | Entreprises sans clients: une analyse de l'avenir du commerce dans un monde contrôlé par l'IA

La révolution de la pensée basée sur le temps

Bien que les modèles d'IA traditionnels tels que GPT-4 ou LLAMA 3 travaillent séquentiellement - l'entrée est en jeu, une sortie est en dehors des ruptures de CTM avec ce principe. Le système fonctionne avec un concept de temps interne, donc des «tiques» ou un timing discret, à travers lequel la condition interne du modèle se développe progressivement. Cette approche permet une adaptation itérative et crée un processus qui ressemble plus à un processus de pensée naturelle qu'une simple réaction.

"Le CTM fonctionne avec un concept interne de temps, les« tiques internes »si appelés, qui sont découplés par l'entrée de données», explique Sakana AI. "Cela permet au modèle de« penser »plusieurs étapes lors de la résolution de tâches au lieu de prendre une décision en une seule exécution immédiatement."

Le noyau de cette approche réside dans l'utilisation de la synchronisation neuronale comme mécanisme fondamental de représentation. Sakana AI a été inspirée par la fonctionnalité du cerveau biologique, dans lequel la coordination du temps entre les neurones joue un rôle crucial. Cette inspiration biologique va au-delà d'une simple métaphore et constitue le fondement de sa philosophie de développement de l'IA.

Modèles au niveau des neurones: les fondations techniques

Le CTM présente une architecture neuronale complexe, qui est appelée «modèles au niveau des neurones» (NLMS). Chaque neurone a ses propres paramètres de poids et poursuit une histoire d'activations passées. Ces historiques influencent le comportement des neurones dans le temps et permettent un traitement plus dynamique qu'avec les réseaux neuronaux artificiels conventionnels.

Le processus de réflexion s'exécute en plusieurs étapes internes. Premièrement, un «modèle de synapse» traite les états de neurone actuels et les données d'entrée externes pour créer les premiers signaux - les pré-activations dites. Par la suite, les «modèles de neurones» individuels utilisent les historiques de ces signaux pour calculer leurs prochains états.

Les états de neurone sont enregistrés au fil du temps pour analyser la force de synchronisation entre les neurones. Cette synchronisation forme la représentation interne centrale du modèle. Un mécanisme d'attention supplémentaire permet au système de sélectionner et de traiter les parties pertinentes des données d'entrée.

Performance et tests pratiques

Dans un certain nombre d'expériences, Sakana AI a comparé les performances du CTM avec des architectures établies. Les résultats montrent des progrès prometteurs dans divers domaines d'application:

Classification des figures et fabrication visuelle

Sur l'ensemble de données ImageNet-1 bien connu, le CTM atteint une précision top 1 de 72,47% et une précision du top 5 de 89,89%. Bien que ces valeurs pour les normes d'aujourd'hui ne représentent pas les principales valeurs, Sakana Ai souligne que ce n'est pas l'objectif principal du projet. Il est à noter qu'il s'agit de la première tentative d'utilisation de la dynamique neuronale comme forme de représentation pour la classification ImageNet.

Dans les tests avec l'ensemble de données CIFAR 10, le CTM est également légèrement mieux loti que les modèles conventionnels, leurs prédictions étant plus similaires au comportement de prise de décision humaine. À CIFAR-10H, le CTM n'atteint une erreur d'étalonnage de seulement 0,15 et dépasse ainsi les deux humains (0,22) et les LSTM (0,28).

Résolution de problèmes complexes

Dans le cas des tâches de parité d'une longueur de 64, le CTM atteint une précision impressionnante de 100% avec plus de 75 barres, tandis que les LSTM sont coincés avec un maximum de 10 barres effectives à moins de 60%. Dans une expérience de labyrinthe, le modèle a démontré un comportement qui ressemble à la planification progressive d'un itinéraire, avec un taux de réussite de 80%, contre 45% dans les LSTM et seulement 20% dans les réseaux à l'avance des aliments.

Le modèle du modèle est particulièrement intéressant pour adapter dynamiquement sa profondeur de traitement: il s'arrête plus tôt dans le cas de tâches simples, avec plus complexe qu'il calcule plus longtemps. Cela fonctionne sans fonctions de perte supplémentaire et est une propriété inhérente à l'architecture.

Interprétabilité et transparence

Une caractéristique exceptionnelle du CTM est son interprétabilité. Pendant le traitement d'image, les têtes d'attention numérisent les fonctionnalités systématiquement pertinentes, ce qui permet un aperçu du «processus de réflexion» du modèle. Dans les expériences de labyrinthe, le système a montré un comportement qui ressemble à la planification progressive d'un comportement de la route A qui, selon les développeurs, est émergent et n'a pas été explicitement programmé.

Sakana Ai fournit même une démo interactive dans laquelle un système CTM dans le navigateur trouve son chemin hors d'un labyrinthe en 150 étapes. Cette transparence est un avantage important sur de nombreux systèmes d'IA modernes, dont le processus décisionnel est souvent perçu comme une «boîte noire».

Convient à:

Développement du marché de l'intelligence artificielle au Japon: favoris, recherche, soutien, applications et plans futurs

Défis et limitations

Malgré les résultats prometteurs, le CTM est toujours confronté à des défis considérables:

Effort de calcul: chaque horloge interne nécessite des exécutions vers l'avant complètes, ce qui augmente les coûts de formation par rapport aux LSTM d'environ trois fois.
Évolutivité: les implémentations actuelles traitent un maximum de 1 000 neurones, et la mise à l'échelle de la taille du transformateur (≥ 1 milliard de paramètres) n'a pas encore été testée.
Zones d'application: Bien que le CTM montre de bons résultats dans des tests spécifiques, il reste à voir si ces avantages sont également utilisés dans des applications pratiques larges.

Les chercheurs ont également expérimenté différentes tailles de modèle et ont constaté que plus de neurones conduisaient à des modèles d'activité plus divers, mais n'amélioraient pas automatiquement les résultats. Cela indique des relations complexes entre l'architecture du modèle, la taille et les performances.

Sakana Ai: une nouvelle approche de l'intelligence artificielle

Sakana AI a été fondée en juillet 2023 par la visionnaire de l'AI David Ha et Llion Jones, toutes deux des anciens chercheurs de Google, ainsi que Ren Ito, un ancien employé de Mercari et des responsables du ministère japonais des Affaires étrangères. L'entreprise poursuit une approche fondamentale que de nombreux développeurs d'IA établis.

Au lieu de marcher sur le chemin conventionnel plus massif et plus intensif de modèles à forte intensité de ressources, Sakana Ai est inspirée par la nature, en particulier par l'intelligence collective des essaims de poissons et des essaims d'oiseaux. Contrairement à des entreprises telles qu'OpenAai, qui développent des modèles étendus et puissants tels que Chatgpt, Sakana AI s'appuie sur une approche décentralisée avec des modèles d'IA collaboratifs plus petits qui fonctionnent efficacement ensemble.

Cette philosophie se reflète également dans le CTM. Au lieu de simplement construire des modèles plus importants avec plus de paramètres, Sakana AI se concentre sur les innovations architecturales fondamentales qui pourraient fondamentalement changer la manière dont les systèmes d'IA pourraient traiter les informations.

Un changement de paradigme dans le développement de l'IA?

La machine à réflexion continue pourrait marquer une étape significative dans le développement de l'IA. En réintroduisant la dynamique temporelle en tant qu'élément central des réseaux de neurones artificiels, Sakana Ai étend le répertoire des outils et des concepts pour la recherche sur l'IA.

L'inspiration biologique, l'interprétabilité et la profondeur de calcul adaptative du CTM pourraient être particulièrement précieuses dans les domaines d'application qui nécessitent des conclusions complexes et une résolution de problèmes. De plus, cette approche pourrait conduire à des systèmes d'IA plus efficaces qui peuvent faire avec moins de ressources informatiques.

Il reste à voir si le CTM représente réellement une percée. Le plus grand défi sera de convertir les résultats prometteurs des tests de laboratoire en applications pratiques et de faire évoluer l'architecture en modèles plus grands.

Indépendamment de cela, le CTM représente une approche courageuse et innovante qui montre que malgré les succès impressionnants des systèmes d'IA actuels, il y a encore beaucoup d'espace pour les innovations fondamentales dans l'architecture des réseaux de neurones artificiels. Sakana Ais Continuous Thought Machine nous rappelle que nous ne pouvons être qu'au début d'un long voyage pour développer l'intelligence artificielle vraiment humaine.

Convient à: