Como a IA aprende como um cérebro: Uma nova abordagem para sistemas de IA aprenderem ao longo do tempo – Sakana AI e Máquina de Pensamento Contínuo – Imagem: Xpert.Digital
Reinventando o pensamento humano: a inovadora tecnologia CTM da Sakana AI
Pensamento de Máquina 2.0: Por que o CTM é um marco
A nova “Máquina de Pensamento Contínuo” (CTM, na sigla em inglês), da startup japonesa Sakana AI, marca uma mudança de paradigma na pesquisa em IA ao estabelecer a dinâmica temporal da atividade neural como um mecanismo central para o pensamento da máquina. Ao contrário dos modelos convencionais de IA que processam informações em uma única passagem, a CTM simula um processo de pensamento em múltiplos estágios que se assemelha mais ao funcionamento do cérebro humano.
Relacionado a isto:
A revolução do pensamento baseado no tempo
Enquanto os modelos tradicionais de IA, como o GPT-4 ou o Llama 3, operam sequencialmente — a entrada é recebida, a saída é emitida —, o CTM rompe com esse princípio. O sistema opera com um conceito de tempo interno, os chamados "ticks" ou passos de tempo discretos, por meio dos quais o estado interno do modelo evolui incrementalmente. Essa abordagem permite a adaptação iterativa e cria um processo que se assemelha mais a um processo de pensamento natural do que a uma mera reação.
“O CTM funciona com um conceito interno de tempo, os chamados ‘tiques internos’, que são desacoplados da entrada de dados”, explica a Sakana AI. “Isso permite que o modelo ‘pense’ em várias etapas ao resolver tarefas, em vez de tomar uma decisão imediatamente em uma única passagem.”
O cerne dessa abordagem reside no uso da sincronização neural como mecanismo fundamental de representação. A Sakana AI inspirou-se no funcionamento do cérebro biológico, onde a coordenação temporal entre os neurônios desempenha um papel crucial. Essa inspiração biológica vai além de uma mera metáfora e constitui a base de sua filosofia de desenvolvimento de IA.
Modelos em nível neuronal: os fundamentos técnicos
O CTM introduz uma arquitetura neural complexa conhecida como "Modelos de Nível de Neurônio" (NLMs). Cada neurônio possui seus próprios parâmetros de peso e registra um histórico de ativações passadas. Esses históricos influenciam o comportamento dos neurônios ao longo do tempo, permitindo um processamento mais dinâmico do que as redes neurais artificiais convencionais.
O processo de pensamento se desenrola em várias etapas internas. Primeiro, um “modelo sináptico” processa os estados neuronais atuais, bem como os dados de entrada externos, para gerar sinais iniciais – as chamadas pré-ativações. Posteriormente, “modelos neuronais” individuais acessam o histórico desses sinais para calcular seus próximos estados.
Os estados neuronais são registrados ao longo do tempo para analisar a intensidade da sincronização entre os neurônios. Essa sincronização constitui a representação interna central do modelo. Um mecanismo atencional adicional permite que o sistema selecione e processe partes relevantes dos dados de entrada.
Testes práticos e de desempenho
Em uma série de experimentos, a Sakana AI comparou o desempenho do CTM com arquiteturas já estabelecidas. Os resultados mostram um progresso promissor em diversas áreas de aplicação:
Classificação de imagens e processamento visual
No conhecido conjunto de dados ImageNet 1K, o CTM alcança uma precisão Top 1 de 72,47% e uma precisão Top 5 de 89,89%. Embora esses valores não sejam de ponta para os padrões atuais, a Sakana AI enfatiza que esse não é o objetivo principal do projeto. Vale ressaltar que esta é a primeira tentativa de utilizar a dinâmica neural como representação para a classificação do ImageNet.
Nos testes usando o conjunto de dados CIFAR-10, o CTM também apresentou desempenho ligeiramente melhor do que os modelos convencionais, com suas previsões sendo mais semelhantes à tomada de decisão humana. No CIFAR-10H, o CTM alcançou um erro de calibração de apenas 0,15, superando tanto os humanos (0,22) quanto as LSTMs (0,28).
Resolução de problemas complexos
Em tarefas de paridade com comprimento de 64, a CTM atinge uma impressionante precisão de 100% com mais de 75 ciclos de clock, enquanto as LSTMs ficam estagnadas em menos de 60% de precisão com um máximo de 10 ciclos de clock efetivos. Em um experimento de labirinto, o modelo demonstrou comportamento semelhante ao planejamento de rotas passo a passo, com uma taxa de sucesso de 80%, em comparação com 45% para LSTMs e apenas 20% para redes feedforward.
Particularmente interessante é a capacidade do modelo de ajustar dinamicamente sua profundidade de processamento: ele para mais cedo em tarefas simples e computa por mais tempo em tarefas mais complexas. Isso funciona sem funções adicionais que geram perda de informação e é uma característica inerente à arquitetura.
Interpretabilidade e transparência
Uma característica fundamental do CTM é a sua interpretabilidade. Durante o processamento de imagens, os núcleos de atenção examinam sistematicamente as características relevantes, fornecendo informações sobre o "processo de pensamento" do modelo. Em experimentos com labirintos, o sistema exibiu um comportamento semelhante ao planejamento passo a passo de uma rota — um comportamento que, segundo os desenvolvedores, é emergente e não explicitamente programado.
A Sakana AI oferece até mesmo uma demonstração interativa na qual um sistema CTM encontra a saída de um labirinto em até 150 etapas dentro do navegador. Essa transparência representa uma vantagem significativa em relação a muitos sistemas de IA modernos, cuja tomada de decisão é frequentemente percebida como uma "caixa preta".
Relacionado a isto:
Desafios e limitações
Apesar dos resultados promissores, a CTM ainda enfrenta desafios significativos:
- Esforço computacional: Cada ciclo de clock interno requer passagens completas para frente, o que aumenta os custos de treinamento em aproximadamente três vezes em comparação com as LSTMs.
- Escalabilidade: As implementações atuais podem processar um máximo de 1.000 neurônios, e a escalabilidade para o tamanho de um transformador (≥1 bilhão de parâmetros) ainda não foi testada.
- Áreas de aplicação: Embora a CTM mostre bons resultados em testes específicos, resta saber se essas vantagens também se traduzirão em amplas aplicações práticas.
Os pesquisadores também experimentaram com diferentes tamanhos de modelo e descobriram que, embora mais neurônios levassem a padrões de atividade mais diversos, isso não melhorava automaticamente os resultados. Isso sugere relações complexas entre a arquitetura do modelo, seu tamanho e seu desempenho.
Sakana AI: Uma nova abordagem para inteligência artificial
A Sakana AI foi fundada em julho de 2023 pelos visionários da IA David Ha e Lion Jones, ambos ex-pesquisadores do Google, juntamente com Ren Ito, ex-funcionário da Mercari e do Ministério das Relações Exteriores do Japão. A empresa adota uma abordagem fundamentalmente diferente da de muitos desenvolvedores de IA já estabelecidos.
Em vez de seguir a rota convencional de modelos de IA massivos e que consomem muitos recursos, a Sakana AI se inspira na natureza, particularmente na inteligência coletiva de cardumes de peixes e bandos de pássaros. Diferentemente de empresas como a OpenAI, que desenvolvem modelos grandes e poderosos como o ChatGPT, a Sakana AI adota uma abordagem descentralizada com modelos de IA menores e colaborativos que trabalham juntos de forma eficiente.
Essa filosofia também se reflete no CTM. Em vez de simplesmente construir modelos maiores com mais parâmetros, a Sakana AI se concentra em inovações arquitetônicas fundamentais que podem mudar radicalmente a forma como os sistemas de IA processam informações.
Uma mudança de paradigma no desenvolvimento da IA?
A Máquina de Pensamento Contínuo pode representar um passo significativo no desenvolvimento da IA. Ao reintroduzir a dinâmica temporal como um elemento central das redes neurais artificiais, a Sakana AI expande o repertório de ferramentas e conceitos para a pesquisa em IA.
A inspiração biológica, a interpretabilidade e a profundidade computacional adaptativa da CTM podem ser particularmente valiosas em aplicações que exigem raciocínio complexo e resolução de problemas. Além disso, essa abordagem pode levar a sistemas de IA mais eficientes que requerem menos recursos computacionais.
Resta saber se o CTM realmente representa um avanço. O maior desafio será traduzir os resultados promissores dos testes de laboratório em aplicações práticas e dimensionar a arquitetura para modelos maiores.
Independentemente disso, a CTM representa uma abordagem ousada e inovadora, demonstrando que, apesar dos impressionantes sucessos dos sistemas de IA atuais, ainda há um espaço significativo para inovação fundamental na arquitetura das redes neurais artificiais. A Máquina de Pensamento Contínuo da Sakana AI nos lembra que talvez estejamos apenas no início de uma longa jornada rumo ao desenvolvimento de uma inteligência artificial verdadeiramente semelhante à humana.
Relacionado a isto:
Seu especialista em transformação, integração e plataforma de IA
☑️ Nosso idioma comercial é inglês ou alemão
☑️ NOVO: Correspondência em seu idioma nativo!
Konrad Wolfenstein
Eu e minha equipe teremos o prazer de estar à sua disposição como seu consultor pessoal.
Você pode entrar em contato comigo preenchendo o formulário de contato aqui wolfenstein@xpert.digital:ou simplesmente ligando para +49 7348 4088 965. Meu endereço de e-mail é
Estou ansioso pelo nosso projeto conjunto.
