Publicado el 19 de mayo de 2025 / Actualización de: 19 de mayo de 2025 - Autor: Konrad Wolfenstein
Así es como la IA aprende como un cerebro: aprender un nuevo enfoque para los sistemas de IA con AI de Time-Sakana y continua Thoug Machine-Image: xpert.digital
Pensamiento humano Nuevo: El innovador CTM de Sakana AI
Pensamiento de la máquina 2.0: por qué el CTM es un hito
La nueva "máquina de pensamiento continuo" (CTM) de la start-up japonesa Sakana Ai marca un cambio de paradigma en la investigación de IA al establecer la dinámica del tiempo de la actividad neuronal como mecanismo central para el pensamiento de la máquina. A diferencia de los modelos de IA convencionales que procesan la información en una ronda, CTM simula un proceso de pensamiento de varias etapas que se basa más en el funcionamiento del cerebro humano.
Adecuado para:
La revolución del pensamiento basado en el tiempo
Mientras que los modelos de IA tradicionales como GPT-4 o LLAMA 3 funcionan secuencialmente, entra una entrada, una salida sale de CTM se rompe con este principio. El sistema opera con un concepto de tiempo interno, de modo que las "garrapatas" o el momento discreto, a través del cual se desarrolla gradualmente la condición interna del modelo. Este enfoque permite la adaptación iterativa y crea un proceso que se parece más a un proceso de pensamiento natural que una mera reacción.
"El CTM funciona con un concepto interno de tiempo, las 'garrapatas internas' que se calculan así, que están desacopladas por la entrada de datos", explica Sakana AI. "Esto permite que el modelo 'piense' varios pasos al resolver tareas en lugar de tomar una decisión en una sola ejecución de inmediato".
El núcleo de este enfoque radica en el uso de la sincronización neuronal como un mecanismo fundamental de representación. Sakana AI se inspiró en la funcionalidad de los cerebros biológicos, en el que la coordinación del tiempo entre las neuronas juega un papel crucial. Esta inspiración biológica va más allá de una mera metáfora y forma la base de su filosofía de desarrollo de IA.
Modelos de nivel de neuronas: las bases técnicas
El CTM introduce una arquitectura neuronal compleja, que se conoce como "modelos a nivel de neuronas" (NLMS). Cada neurona tiene sus propios parámetros de peso y sigue un historial de activaciones pasadas. Estas históricas influyen en el comportamiento de las neuronas en el tiempo y permiten un procesamiento más dinámico que con las redes neuronales artificiales convencionales.
El proceso de pensamiento se ejecuta en varios pasos internos. Primero, un "modelo de sinapsis" procesa los estados de neuronas actuales y los datos de entrada externos para crear las primeras señales, las llamadas preactivaciones. Posteriormente, los "modelos de neuronas" individuales utilizan las históricas de estas señales para calcular sus próximos estados.
Los estados de las neuronas se registran con el tiempo para analizar la resistencia de sincronización entre las neuronas. Esta sincronización forma la representación interna central del modelo. Un mecanismo de atención adicional permite al sistema seleccionar y procesar partes relevantes de los datos de entrada.
Rendimiento y pruebas prácticas
En varios experimentos, Sakana AI comparó el rendimiento del CTM con arquitecturas establecidas. Los resultados muestran un progreso prometedor en varias áreas de aplicación:
Clasificación de figura y mano de obra visual
En el conocido conjunto de datos de ImageNet-1K, el CTM logra una precisión superior de 72.47% y una precisión superior del 89.89%. Aunque estos valores para los estándares actuales no representan valores superiores, Sakana AI enfatiza que este no es el objetivo principal del proyecto. Es de destacar que este es el primer intento de usar la dinámica neural como una forma de representación para la clasificación de ImageNet.
En las pruebas con el conjunto de datos CIFAR 10, el CTM también es ligeramente mejor que los modelos convencionales, con sus predicciones más similares al comportamiento de toma de decisiones humanas. En CIFAR-10H, el CTM logra un error de calibración de solo 0.15 y, por lo tanto, excede los humanos (0.22) y LSTM (0.28).
Resolución compleja de problemas
En el caso de las tareas de paridad con una longitud de 64, el CTM logra una precisión impresionante del 100% con más de 75 barras, mientras que los LSTM se atascan con un máximo de 10 barras efectivas a menos del 60%. En un experimento de laberinto, el modelo demostró un comportamiento que se asemeja a la planificación gradual de una ruta, con una tasa de éxito del 80%, en comparación con el 45% en LSTM y solo el 20% en las redes de alimentación hacia adelante.
El modelo del modelo es particularmente interesante para adaptar dinámicamente su profundidad de procesamiento: se detiene antes en el caso de tareas simples, con más complejo que calcula más tiempo. Esto funciona sin funciones de pérdida adicionales y es una propiedad inherente de la arquitectura.
Interpretabilidad y transparencia
Una característica sobresaliente del CTM es su interpretabilidad. Durante el procesamiento de la imagen, los cabezales de atención escanean características sistemáticamente relevantes, lo que permite una visión del "proceso de pensamiento" del modelo. En los experimentos de laberinto, el sistema mostró un comportamiento que se asemeja a la planificación gradual de un comportamiento de la ruta A que, según los desarrolladores, es emergente y no fue programado explícitamente.
Sakana AI incluso proporciona una demostración interactiva en la que un sistema CTM en el navegador encuentra salir de un laberinto en hasta 150 pasos. Esta transparencia es una ventaja importante sobre muchos sistemas de IA modernos, cuyo proceso de toma de decisiones a menudo se percibe como una "caja negra".
Adecuado para:
Desafíos y limitaciones
A pesar de los resultados prometedores, el CTM todavía enfrenta desafíos considerables:
- Esfuerzo de computación: cada reloj interno requiere corridas completas, lo que aumenta los costos de capacitación en comparación con los LSTM en aproximadamente tres veces.
- Escalabilidad: las implementaciones actuales procesan un máximo de 1,000 neuronas, y la escala al tamaño del transformador (≥1 mil millones de parámetros) aún no se ha probado.
- Áreas de aplicación: si bien el CTM muestra buenos resultados en pruebas específicas, queda por ver si estas ventajas también se usan en aplicaciones prácticas amplias.
Los investigadores también experimentaron con diferentes tamaños de modelo y descubrieron que más neuronas condujeron a patrones de actividad más diversos, pero no mejoraron automáticamente los resultados. Esto indica relaciones complejas entre la arquitectura del modelo, el tamaño y el rendimiento.
Sakana AI: un nuevo enfoque para la inteligencia artificial
Sakana AI fue fundada en julio de 2023 por el visionario de IA David Ha y Llion Jones, ambos ex investigadores de Google, junto con Ren Ito, un ex empleado de Mercari y funcionarios del Ministerio de Relaciones Exteriores japoneses. La Compañía sigue un enfoque fundamental que muchos desarrolladores de IA establecidos.
En lugar de caminar por el camino convencional más modelos de IA intensivos en recursos, Sakana AI se inspira en la naturaleza, especialmente por la inteligencia colectiva de enjambres de peces y enjambres de aves. En contraste con empresas como OpenAAI, que desarrollan modelos extensos y poderosos como ChatGPT, Sakana AI se basa en un enfoque descentralizado con modelos de IA más pequeños y colaborativos que funcionan de manera eficiente.
Esta filosofía también se refleja en el CTM. En lugar de simplemente construir modelos más grandes con más parámetros, Sakana AI se centra en innovaciones arquitectónicas fundamentales que podrían cambiar fundamentalmente la forma en que los sistemas de IA podrían procesar información.
¿Un cambio de paradigma en el desarrollo de la IA?
La máquina de pensamiento continuo podría marcar un paso significativo en el desarrollo de la IA. Al reintroducir la dinámica temporal como un elemento central de las redes neuronales artificiales, Sakana AI extiende el repertorio de herramientas y conceptos para la investigación de IA.
La inspiración biológica, la interpretabilidad y la profundidad de cálculo adaptativo de la CTM podrían ser particularmente valiosas en áreas de aplicación que requieren conclusiones complejas y resolución de problemas. Además, este enfoque podría conducir a sistemas de IA más eficientes que pueden hacer con menos recursos informáticos.
Queda por ver si el CTM realmente representa un avance. El mayor desafío será convertir los resultados prometedores de las pruebas de laboratorio en aplicaciones prácticas y escalar la arquitectura a modelos más grandes.
Independientemente de esto, el CTM representa un enfoque valiente e innovador que muestra que a pesar de los impresionantes éxitos de los sistemas de IA actuales, todavía hay mucho espacio para innovaciones fundamentales en la arquitectura de las redes neuronales artificiales. La máquina de pensamiento continuo Sakana AIS nos recuerda que solo podemos estar al comienzo de un largo viaje para desarrollar inteligencia artificial realmente humana.
Adecuado para:
Su transformación de IA, integración de IA y experto en la industria de la plataforma de IA
☑️ Nuestro idioma comercial es inglés o alemán.
☑️ NUEVO: ¡Correspondencia en tu idioma nacional!
Konrad Wolfenstein
Estaré encantado de servirle a usted y a mi equipo como asesor personal.
Puedes ponerte en contacto conmigo rellenando el formulario de contacto o simplemente llámame al +49 89 89 674 804 (Múnich) . Mi dirección de correo electrónico es: wolfenstein ∂ xpert.digital
Estoy deseando que llegue nuestro proyecto conjunto.
