これは、AIが脳のように学習する方法です：Time-Sakana AIを使用してAIシステムへの新しいアプローチを学習し、マシンを連続する

公開日: 2025年5月19日 / 更新日: 2025年5月19日 – 著者: Konrad Wolfenstein

AIが脳のように学習する方法：AIシステムが時間をかけて学習する新しいアプローチ - サカナAIと継続的思考マシン - 画像：Xpert.Digital

人間の思考を再考する：サカナAIの革新的なCTM

マシン思考2.0：CTMがマイルストーンである理由

日本のスタートアップ企業サカナAIが開発した「連続思考マシン」（CTM）は、神経活動の時間的ダイナミクスを機械思考の中心的なメカニズムとして確立することで、AI研究におけるパラダイムシフトをもたらします。従来のAIモデルが情報を一回で処理するのに対し、CTMは人間の脳の働きにより近い、多段階の思考プロセスをシミュレートします。.

に適し：

メモリアルゲーム|顧客のない企業：AIが管理する世界での貿易の未来の分析

時間に基づく思考の革命

GPT-4やLlama 3のような従来のAIモデルは、入力が入ってくると出力が出てくるという順序で動作しますが、CTMはこの原則を覆します。システムは内部時間の概念、いわゆる「ティック」または離散的な時間ステップに基づいて動作し、それを通してモデルの内部状態が段階的に進化します。このアプローチにより反復的な適応が可能になり、単なる反応ではなく、より自然な思考プロセスに近いプロセスが生まれます。.

「CTMは、データ入力から切り離された内部的な時間概念、いわゆる『内部ティック』に基づいて動作します」とサカナAIは説明します。「これにより、モデルはタスクを解決する際に、1回のパスで即座に決定を下すのではなく、複数のステップを踏んで『考える』ことができます。」

このアプローチの核心は、神経同期を基本的な表現メカニズムとして用いることにあります。サカナAIは、ニューロン間の時間的協調が重要な役割を果たす生物学的脳の働きからインスピレーションを得ました。この生物学的インスピレーションは、単なる比喩にとどまらず、彼らのAI開発哲学の基盤を形成しています。.

ニューロンレベルモデル：技術的基礎

CTMは、「ニューロンレベルモデル」（NLM）と呼ばれる複雑なニューラルアーキテクチャを導入します。各ニューロンは独自の重みパラメータを持ち、過去の活性化履歴を追跡します。これらの履歴はニューロンの挙動に時間的に影響を与え、従来の人工ニューラルネットワークよりも動的な処理を可能にします。.

思考プロセスは複数の内部ステップを経て展開されます。まず、「シナプスモデル」が現在のニューロン状態と外部入力データを処理して、いわゆる前活性化と呼ばれる初期信号を生成します。次に、個々の「ニューロンモデル」がこれらの信号の履歴にアクセスし、次の状態を計算します。.

ニューロンの状態は時間の経過とともに記録され、ニューロン間の同期の強さを分析します。この同期は、モデルの中心的な内部表現を形成します。追加の注意メカニズムにより、システムは入力データの関連部分を選択的に選択して処理することができます。.

パフォーマンスと実技テスト

サカナAIは一連の実験において、CTMの性能を既存のアーキテクチャと比較しました。その結果、様々な応用分野において有望な進歩が見られました。

画像分類と視覚処理

よく知られているImageNet 1Kデータセットにおいて、CTMはTop 1精度72.47%、Top 5精度89.89%を達成しました。これらの値は今日の基準からするとトップクラスではありませんが、Sakana AIはこれがプロジェクトの主目的ではないことを強調しています。注目すべきは、これがImageNet分類の表現としてニューラルダイナミクスを利用する初の試みであるということです。.

CIFAR-10データセットを用いたテストでは、CTMは従来のモデルよりもわずかに優れたパフォーマンスを示し、予測は人間の意思決定により近いものとなりました。CIFAR-10Hでは、CTMのキャリブレーション誤差はわずか0.15で、人間（0.22）とLSTM（0.28）の両方を上回りました。.

複雑な問題の解決

長さ64のパリティタスクにおいて、CTMは75クロックサイクル以上で100%という驚異的な精度を達成しました。一方、LSTMは最大10クロックサイクルの有効クロックサイクルで60%未満の精度に留まりました。迷路実験では、このモデルはステップバイステップのルートプランニングに似た動作を示し、成功率は80%でした。一方、LSTMは45%、フィードフォワードネットワークはわずか20%でした。.

特に興味深いのは、このモデルが処理深度を動的に調整する機能です。単純なタスクでは早めに停止し、複雑なタスクではより長い時間計算を行います。これは追加のロス関数を必要とせず、アーキテクチャ固有の機能です。.

解釈可能性と透明性

CTMの重要な特徴は、その解釈可能性です。画像処理中、注意ヘッドは関連する特徴を体系的にスキャンし、モデルの「思考プロセス」に関する洞察を提供します。迷路実験では、システムはルートを段階的に計画するのと似た行動を示しました。開発者によると、この行動は創発的であり、明示的にプログラムされているわけではないとのことです。.

Sakana AIは、CTMシステムがブラウザ上で最大150ステップで迷路を抜け出す様子を再現したインタラクティブなデモも提供しています。この透明性は、意思決定が「ブラックボックス」とみなされがちな多くの現代のAIシステムと比べて、大きな利点となります。.

に適し：

日本における人工知能市場の発展：注目点、研究、資金調達、アプリケーション、将来計画

課題と限界

有望な結果にもかかわらず、CTM は依然として大きな課題に直面しています。

計算量: 各内部クロックサイクルでは完全な順方向パスが必要となり、LSTM と比較してトレーニングコストが約 3 倍増加します。.
スケーラビリティ: 現在の実装では最大 1,000 個のニューロンを処理できますが、トランスフォーマーサイズ (10 億以上のパラメータ) へのスケーリングはまだテストされていません。.
応用分野: CTM は特定のテストでは良好な結果を示していますが、これらの利点が幅広い実用アプリケーションにも応用できるかどうかはまだわかりません。.

研究者らはモデルのサイズを変えて実験を行い、ニューロン数の増加は活動パターンの多様性を高めるものの、必ずしも結果が向上するわけではないことを発見しました。これは、モデルの構造、サイズ、パフォーマンスの間に複雑な関係があることを示唆しています。.

さかなAI：人工知能への新しいアプローチ

サカナAIは、AIのビジョナリーである元Google研究者のデイビッド・ハ氏とライオン・ジョーンズ氏、そして元メルカリ社員で外務省職員の伊藤廉氏によって2023年7月に設立されました。同社は、多くの既存のAI開発企業とは根本的に異なるアプローチを採用しています。.

Sakana AIは、大規模でリソースを大量に消費する従来のAIモデルではなく、自然界、特に魚群や鳥の群れの集合知からインスピレーションを得ています。ChatGPTのような大規模で強力なモデルを開発するOpenAIなどの企業とは異なり、Sakana AIは、効率的に連携する小規模で協調的なAIモデルを用いた分散型アプローチを採用しています。.

この哲学はCTMにも反映されています。Sakana AIは、単にパラメータを増やした大規模なモデルを構築するのではなく、AIシステムの情報処理方法を根本的に変える可能性のある、根本的なアーキテクチャの革新に重点を置いています。.

AI開発におけるパラダイムシフト？

連続思考マシンは、AI開発における重要な一歩となる可能性があります。時間的ダイナミクスを人工ニューラルネットワークの中心要素として再導入することで、サカナAIはAI研究のためのツールと概念のレパートリーを拡大します。.

CTMの生物学的な着想、解釈可能性、そして適応的な計算深度は、複雑な推論と問題解決を必要とするアプリケーションにおいて特に価値を発揮する可能性があります。さらに、このアプローチは、より少ない計算リソースでより効率的なAIシステムを実現する可能性を秘めています。.

CTMが真に画期的な成果となるかどうかはまだ分からない。最大の課題は、実験室での試験で得られた有望な結果を実用化につなげ、そのアーキテクチャをより大きなモデルに拡張することだろう。.

いずれにせよ、CTMは大胆かつ革新的なアプローチであり、現在のAIシステムの目覚ましい成功にもかかわらず、人工ニューラルネットワークのアーキテクチャには依然として根本的な革新の余地があることを示しています。サカナAIのContinuous Thought Machineは、真に人間のような人工知能の開発に向けた長い道のりは、まだ始まったばかりかもしれないということを改めて認識させてくれます。.

に適し：