Cómo la IA aprende como un cerebro: Un nuevo enfoque para que los sistemas de IA aprendan con el tiempo – Sakana AI y Continuous Thought Machine – Imagen: Xpert.Digital
Reimaginando el pensamiento humano: el innovador CTM de Sakana AI
Machine Thinking 2.0: Por qué CTM es un hito
La nueva "Máquina de Pensamiento Continuo" (CTM) de la startup japonesa Sakana AI marca un cambio de paradigma en la investigación de la IA al establecer la dinámica temporal de la actividad neuronal como mecanismo central del pensamiento automático. A diferencia de los modelos de IA convencionales que procesan la información en una sola pasada, la CTM simula un proceso de pensamiento multietapa que se asemeja más al funcionamiento del cerebro humano.
Relacionado con esto:
La revolución del pensamiento basado en el tiempo
Mientras que los modelos de IA tradicionales, como GPT-4 o Llama 3, operan secuencialmente (entrada, salida), CTM rompe este principio. El sistema opera con un concepto de tiempo interno, denominado "ticks" o pasos de tiempo discretos, a través del cual el estado interno del modelo evoluciona gradualmente. Este enfoque permite la adaptación iterativa y crea un proceso que se asemeja más a un proceso de pensamiento natural que a una mera reacción.
“El CTM funciona con un concepto interno de tiempo, los llamados 'ticks internos', que están desvinculados de la entrada de datos”, explica Sakana AI. “Esto permite al modelo 'pensar' en varios pasos al resolver tareas, en lugar de tomar una decisión de inmediato en una sola pasada”
La base de este enfoque reside en el uso de la sincronización neuronal como mecanismo fundamental de representación. Sakana AI se inspiró en el funcionamiento de los cerebros biológicos, donde la coordinación temporal entre neuronas desempeña un papel crucial. Esta inspiración biológica va más allá de una mera metáfora y constituye la base de su filosofía de desarrollo de IA.
Modelos a nivel neuronal: fundamentos técnicos
El CTM introduce una arquitectura neuronal compleja conocida como "Modelos a Nivel de Neurona" (NLM). Cada neurona tiene sus propios parámetros de peso y registra un historial de activaciones pasadas. Estos historiales influyen en el comportamiento de las neuronas a lo largo del tiempo, lo que permite un procesamiento más dinámico que las redes neuronales artificiales convencionales.
El proceso de pensamiento se desarrolla en varios pasos internos. Primero, un «modelo sináptico» procesa los estados neuronales actuales, así como los datos de entrada externos, para generar señales iniciales: las llamadas preactivaciones. Posteriormente, cada «modelo neuronal» accede al historial de estas señales para calcular sus próximos estados.
Los estados neuronales se registran a lo largo del tiempo para analizar la intensidad de la sincronización entre neuronas. Esta sincronización constituye la representación interna central del modelo. Un mecanismo atencional adicional permite al sistema seleccionar y procesar selectivamente las partes relevantes de los datos de entrada.
Pruebas de rendimiento y prácticas
En una serie de experimentos, Sakana AI comparó el rendimiento de CTM con arquitecturas consolidadas. Los resultados muestran avances prometedores en diversas áreas de aplicación:
Clasificación de imágenes y procesamiento visual
En el conocido conjunto de datos ImageNet 1K, CTM alcanza una precisión Top 1 del 72,47 % y una precisión Top 5 del 89,89 %. Si bien estos valores no son de primer nivel según los estándares actuales, Sakana AI enfatiza que este no es el objetivo principal del proyecto. Cabe destacar que este es el primer intento de utilizar la dinámica neuronal como representación para la clasificación de ImageNet.
En pruebas con el conjunto de datos CIFAR-10, el CTM también tuvo un rendimiento ligeramente superior al de los modelos convencionales, ya que sus predicciones se asemejan más a la toma de decisiones humana. En CIFAR-10H, el CTM alcanza un error de calibración de tan solo 0,15, superando tanto al de los humanos (0,22) como al de los LSTM (0,28).
Resolución de problemas complejos
En tareas de paridad con una longitud de 64, el CTM alcanza una impresionante precisión del 100 % con más de 75 ciclos de reloj, mientras que los LSTM se estancan con una precisión inferior al 60 % con un máximo de 10 ciclos de reloj efectivos. En un experimento de laberinto, el modelo demostró un comportamiento similar a la planificación de rutas paso a paso, con una tasa de éxito del 80 %, en comparación con el 45 % de los LSTM y solo el 20 % de las redes de propagación hacia adelante.
Resulta especialmente interesante la capacidad del modelo para ajustar dinámicamente su profundidad de procesamiento: se detiene antes para tareas sencillas y tarda más para las más complejas. Esto funciona sin funciones con pérdida adicionales y es una característica inherente de la arquitectura.
Interpretabilidad y transparencia
Una característica clave del CTM es su interpretabilidad. Durante el procesamiento de imágenes, los cabezales de atención escanean sistemáticamente las características relevantes, lo que proporciona información sobre el proceso de pensamiento del modelo. En experimentos con laberintos, el sistema mostró un comportamiento similar a la planificación paso a paso de una ruta; un comportamiento que, según los desarrolladores, es emergente y no está programado explícitamente.
Sakana AI incluso ofrece una demostración interactiva en la que un sistema CTM resuelve un laberinto en hasta 150 pasos dentro del navegador. Esta transparencia supone una ventaja significativa frente a muchos sistemas de IA modernos, cuya toma de decisiones a menudo se percibe como una "caja negra".
Relacionado con esto:
Desafíos y limitaciones
A pesar de los resultados prometedores, CTM aún enfrenta desafíos importantes:
- Esfuerzo computacional: cada ciclo de reloj interno requiere pases de avance completos, lo que aumenta los costos de entrenamiento aproximadamente tres veces en comparación con los LSTM.
- Escalabilidad: Las implementaciones actuales pueden procesar un máximo de 1.000 neuronas y aún no se ha probado la escalabilidad al tamaño del transformador (≥1 mil millones de parámetros).
- Áreas de aplicación: Aunque el CTM muestra buenos resultados en pruebas específicas, aún está por ver si estas ventajas también se traducirán en amplias aplicaciones prácticas.
Los investigadores también experimentaron con diferentes tamaños de modelo y descubrieron que, si bien un mayor número de neuronas conducía a patrones de actividad más diversos, no mejoraba automáticamente los resultados. Esto sugiere relaciones complejas entre la arquitectura, el tamaño y el rendimiento del modelo.
Sakana AI: un nuevo enfoque a la inteligencia artificial
Sakana AI fue fundada en julio de 2023 por los visionarios de la IA David Ha y Lion Jones, ambos exinvestigadores de Google, junto con Ren Ito, exempleado de Mercari y funcionario del Ministerio de Asuntos Exteriores de Japón. La empresa adopta un enfoque fundamentalmente diferente al de muchos desarrolladores de IA consolidados.
En lugar de optar por la vía convencional de modelos de IA masivos y que consumen muchos recursos, Sakana AI se inspira en la naturaleza, en particular en la inteligencia colectiva de bancos de peces y bandadas de aves. A diferencia de empresas como OpenAI, que desarrollan modelos grandes y potentes como ChatGPT, Sakana AI se basa en un enfoque descentralizado con modelos de IA más pequeños y colaborativos que trabajan juntos de forma eficiente.
Esta filosofía también se refleja en CTM. En lugar de simplemente construir modelos más grandes con más parámetros, Sakana AI se centra en innovaciones arquitectónicas fundamentales que podrían cambiar radicalmente la forma en que los sistemas de IA procesan la información.
¿Un cambio de paradigma en el desarrollo de la IA?
La Máquina de Pensamiento Continuo podría marcar un paso significativo en el desarrollo de la IA. Al reintroducir la dinámica temporal como elemento central de las redes neuronales artificiales, Sakana AI amplía el repertorio de herramientas y conceptos para la investigación en IA.
La inspiración biológica, la interpretabilidad y la capacidad computacional adaptativa del CTM podrían ser especialmente valiosas en aplicaciones que requieren razonamiento y resolución de problemas complejos. Además, este enfoque podría conducir a sistemas de IA más eficientes que requieran menos recursos computacionales.
Queda por ver si CTM representa realmente un gran avance. El mayor reto será traducir los prometedores resultados de las pruebas de laboratorio a aplicaciones prácticas y escalar la arquitectura a modelos más grandes.
En cualquier caso, el CTM representa un enfoque audaz e innovador, que demuestra que, a pesar del impresionante éxito de los sistemas de IA actuales, aún existe un amplio margen para la innovación fundamental en la arquitectura de las redes neuronales artificiales. La Máquina de Pensamiento Continuo de Sakana AI nos recuerda que quizás estemos apenas al comienzo de un largo camino hacia el desarrollo de una inteligencia artificial verdaderamente similar a la humana.
Relacionado con esto:
Su experto en la industria de la transformación de la IA, la integración de la IA y las plataformas de IA
☑️ Nuestro idioma comercial es el inglés o el alemán
☑️ NUEVO: ¡Correspondencia en tu idioma nativo!
Konrad Wolfenstein
Mi equipo y yo estaremos encantados de estar disponibles para usted como su asesor personal.
Puedes contactarme rellenando el formulario de contacto aquí wolfenstein@xpert.digital:o simplemente llamándome al +49 7348 4088 965. Mi dirección de correo electrónico es
Espero con ilusión nuestro proyecto conjunto.
