Publicado em: 19 de maio de 2025 / atualização de: 19 de maio de 2025 - Autor: Konrad Wolfenstein
É assim que a IA aprende como um cérebro: aprendendo uma nova abordagem para os sistemas de IA com tempo-sakana ai e a imagem contínua da máquina: xpert.digital
Pensamento humano Novo: o CTM inovador de Sakana AI
Máquina Pensamento 2.0: Por que o CTM é um marco
A nova “máquina de pensamento contínua” (CTM) da start-up japonesa Sakana AI marca uma mudança de paradigma na pesquisa de IA, estabelecendo a dinâmica do tempo da atividade neuronal como um mecanismo central para o pensamento da máquina. Em contraste com os modelos convencionais de IA que processam informações em uma rodada, o CTM simula um processo de pensamento em vários estágios que se baseia mais no funcionamento do cérebro humano.
Adequado para:
A revolução do pensamento baseado no tempo
Enquanto modelos tradicionais de IA, como o GPT-4 ou o LLAMA 3, o trabalho sequencialmente-uma entrada se sequencial entra, uma saída sai por quebras de CTM com esse princípio. O sistema opera com um conceito de tempo interno, de modo que "ticks" chamados ou tempo discreto, através do qual a condição interna do modelo se desenvolve gradualmente. Essa abordagem permite a adaptação iterativa e cria um processo mais parecido com um processo de pensamento natural do que uma mera reação.
"O CTM trabalha com um conceito interno de tempo, os 'ticks internos' assim chamados, que são dissociados pela entrada de dados", explica Sakana AI. "Isso permite que o modelo 'pense' várias etapas ao resolver tarefas em vez de tomar uma decisão em uma única corrida imediatamente".
O núcleo dessa abordagem está no uso da sincronização neuronal como um mecanismo fundamental de representação. Sakana AI foi inspirada na funcionalidade dos cérebros biológicos, na qual a coordenação do tempo entre os neurônios desempenha um papel crucial. Essa inspiração biológica vai além de uma mera metáfora e forma a base de sua filosofia de desenvolvimento de IA.
Modelos no nível de neurônios: as fundações técnicas
O CTM apresenta uma arquitetura neural complexa, que é chamada de "modelos no nível de neurônios" (NLMS). Cada neurônio possui seus próprios parâmetros de peso e persegue uma história de ativações passadas. Esses históricos influenciam o comportamento dos neurônios no tempo e permitem processamento mais dinâmico do que nas redes neuronais artificiais convencionais.
O processo de pensamento é executado em várias etapas internas. Primeiro, um "modelo de sinapse" processa os estados atuais dos neurônios e os dados de entrada externa para criar os primeiros sinais-as chamadas pré-ativações. Posteriormente, os “modelos de neurônios” individuais usam os históricos desses sinais para calcular seus próximos estados.
Os estados de neurônios são registrados ao longo do tempo para analisar a força de sincronização entre os neurônios. Essa sincronização forma a representação interna central do modelo. Um mecanismo de atenção adicional permite que o sistema selecione e processe partes relevantes dos dados de entrada.
Desempenho e testes práticos
Em várias experiências, a Sakana AI comparou o desempenho do CTM com arquiteturas estabelecidas. Os resultados mostram progresso promissor em várias áreas de aplicação:
Classificação da figura e trabalho visual
No conhecido conjunto de dados ImageNet-1K, o CTM atinge uma precisão de 72,47% e uma precisão superior de 89,89%. Embora esses valores para os padrões atuais não representem valores principais, a Sakana AI enfatiza que esse não é o objetivo principal do projeto. Vale ressaltar que esta é a primeira tentativa de usar a dinâmica neural como uma forma de representação para a classificação do ImageNet.
Em testes com o conjunto de dados CIFAR 10, o CTM também é um pouco melhor do que os modelos convencionais, com suas previsões sendo mais parecidas com o comportamento de tomada de decisão humana. No CIFAR-10H, o CTM atinge um erro de calibração de apenas 0,15 e, portanto, excede os humanos (0,22) e o LSTMS (0,28).
Resolução complexa de problemas
No caso de tarefas de paridade com um comprimento de 64, o CTM atinge uma precisão impressionante de 100% com mais de 75 barras, enquanto os LSTMs ficam presos com um máximo de 10 barras eficazes em menos de 60%. Em um experimento de labirinto, o modelo demonstrou um comportamento que se assemelha ao planejamento gradual de uma rota, com uma taxa de sucesso de 80%, em comparação com 45% no LSTMS e apenas 20% nas redes avançadas.
O modelo do modelo é particularmente interessante para adaptar dinamicamente sua profundidade de processamento: ele para no início do caso de tarefas simples, com mais complexo que ele calcula por mais tempo. Isso funciona sem funções adicionais de perda e é uma propriedade inerente à arquitetura.
Interpretabilidade e transparência
Uma característica excelente do CTM é sua interpretabilidade. Durante o processamento da imagem, as cabeças de atenção examinam os recursos sistematicamente relevantes, que permitem uma visão do "processo de pensamento" do modelo. Em experimentos de labirinto, o sistema mostrou comportamento que se assemelha ao planejamento gradual de uma rota-um comportamento que, segundo os desenvolvedores, é emergente e não foi explicitamente programado.
A Sakana AI fornece até uma demonstração interativa na qual um sistema CTM no navegador encontra uma saída de um labirinto em até 150 etapas. Essa transparência é uma vantagem importante sobre muitos sistemas modernos de IA, cujo processo de tomada de decisão é frequentemente percebido como uma "caixa preta".
Adequado para:
Desafios e limitações
Apesar dos resultados promissores, o CTM ainda enfrenta desafios consideráveis:
- Esforço de computação: todo relógio interno requer execuções completas, o que aumenta os custos de treinamento em comparação com o LSTMS em cerca de três vezes.
- Escalabilidade: as implementações atuais processam um máximo de 1.000 neurônios e a escala para o tamanho do transformador (≥1 bilhões de parâmetros) ainda não foi testada.
- Áreas de aplicação: Embora o CTM mostre bons resultados em testes específicos, resta saber se essas vantagens também são usadas em amplas aplicações práticas.
Os pesquisadores também experimentaram diferentes tamanhos de modelo e descobriram que mais neurônios levavam a padrões de atividade mais diversos, mas não melhoraram automaticamente os resultados. Isso indica relações complexas entre arquitetura, tamanho e desempenho do modelo.
Sakana AI: uma nova abordagem da inteligência artificial
A Sakana AI foi fundada em julho de 2023 pelo visionário da IA David Ha e Llion Jones, ambos dos ex -pesquisadores do Google, juntamente com Ren Ito, um ex -funcionário da Mercari e funcionários do Ministério das Relações Exteriores do Japão. A empresa busca uma abordagem fundamental do que muitos desenvolvedores de IA estabelecidos.
Em vez de caminhar pelo caminho convencional mais maciço, modelos de IA intensivos em recursos, a IA Sakana é inspirada pela natureza, especialmente pela inteligência coletiva de enxames de peixes e enxames de pássaros. Em contraste com empresas como o OpenAai, que desenvolvem modelos extensos e poderosos, como o ChatGPT, a Sakana AI confia em uma abordagem descentralizada com modelos menores de IA colaborativos que funcionam com eficiência juntos.
Essa filosofia também se reflete no CTM. Em vez de simplesmente construir modelos maiores com mais parâmetros, a Sakana AI se concentra em inovações arquitetônicas fundamentais que podem mudar fundamentalmente a maneira como os sistemas de IA podem processar informações.
Uma mudança de paradigma no desenvolvimento da IA?
A máquina de pensamento contínua pode marcar uma etapa significativa no desenvolvimento da IA. Ao reintroduzir a dinâmica temporal como um elemento central das redes neurais artificiais, a Sakana AI estende o repertório de ferramentas e conceitos para a pesquisa de IA.
A inspiração biológica, interpretabilidade e profundidade de cálculo adaptável do CTM podem ser particularmente valiosas nas áreas de aplicação que exigem conclusões complexas e resolução de problemas. Além disso, essa abordagem pode levar a sistemas de IA mais eficientes que podem fazer com menos recursos de computação.
Resta saber se o CTM realmente representa um avanço. O maior desafio será converter os resultados promissores dos testes de laboratório em aplicações práticas e dimensionar a arquitetura para modelos maiores.
Independentemente disso, o CTM representa uma abordagem corajosa e inovadora que mostra que, apesar dos impressionantes sucessos dos sistemas atuais de IA, ainda há muito espaço para inovações fundamentais na arquitetura das redes neurais artificiais. Sakana AIS Máquina de pensamento contínua nos lembra que só podemos estar no início de uma longa jornada para desenvolver inteligência artificial realmente humana.
Adequado para:
Sua transformação de IA, integração de IA e especialista do setor de plataforma de IA
☑️ Nosso idioma comercial é inglês ou alemão
☑️ NOVO: Correspondência em seu idioma nacional!
Konrad Wolfenstein
Ficarei feliz em servir você e minha equipe como consultor pessoal.
Você pode entrar em contato comigo preenchendo o formulário de contato ou simplesmente ligando para +49 89 89 674 804 (Munique) . Meu endereço de e-mail é: wolfenstein ∂ xpert.digital
Estou ansioso pelo nosso projeto conjunto.
