公開：2025年5月19日 /更新：2025年5月19日 - 著者： Konrad Wolfenstein
これは、AIが脳のように学習する方法です：Time-Sakana AIおよび連続的なThougマシンイメージを使用してAIシステムの新しいアプローチを学ぶ：Xpert.Digital
人間の思考新しいもの：Sakana AIによる革新的なCTM
マシン思考2.0：CTMがマイルストーンである理由
日本のスタートアップSakana AIの新しい「連続思考機」（CTM）は、機械思考の中心的なメカニズムとしてニューロン活動の時間的ダイナミクスを確立することにより、AI研究のパラダイムシフトを示しています。 1ラウンドで情報を処理する従来のAIモデルとは対照的に、CTMは、人間の脳の機能に基づいた多段階的な思考プロセスをシミュレートします。
に適し：
時間に基づいた思考の革命
GPT-4やLLAMA 3などの従来のAIモデルは、順次順番に入力されますが、出力はこの原則とともにOut-CTMブレークになります。システムは内部時間の概念で動作するため、モデルの内部条件が徐々に発達する「ダニ」または個別のタイミングを呼びました。このアプローチは、反復的な適応を可能にし、単なる反応というよりも自然な思考プロセスのようなプロセスを作成します。
「CTMは、データ入力によって切り離されたSO -Caledの「内部ティック」という内部の概念で動作します」とSakana AIは説明します。 「これにより、モデルは、すぐに1回の実行で決定を下すのではなく、タスクを解決するときにいくつかのステップを「考える」ことができます。」
このアプローチの中核は、表現の基本的なメカニズムとしてのニューロンの同期の使用にあります。 Sakana Aiは、生物学的脳の機能に触発され、その時間にニューロン間の協調が重要な役割を果たします。この生物学的インスピレーションは、単なる比phorを超えており、AI開発哲学の基礎を形成しています。
ニューロンレベルのモデル：技術的な基盤
CTMは、「ニューロンレベルモデル」（NLMS）と呼ばれる複雑な神経アーキテクチャを導入します。各ニューロンには独自の重量パラメーターがあり、過去の活性化の履歴を追求しています。これらの歴史は、時間内のニューロンの挙動に影響を与え、従来の人工ニューロンネットワークよりもより動的な処理を可能にします。
思考プロセスは、いくつかの内部ステップで実行されます。まず、「シナプスモデル」は、現在のニューロン状態と外部入力データを処理して、最初の信号（いわゆる事前活性化）を作成します。その後、個々の「ニューロンモデル」は、これらの信号の歴史を使用して次の状態を計算します。
ニューロン状態は、ニューロン間の同期強度を分析するために時間とともに記録されます。この同期は、モデルの中心的な内部表現を形成します。追加の注意メカニズムにより、システムは入力データの関連部分を選択および処理できます。
パフォーマンスと実用的なテスト
多くの実験で、Sakana AIはCTMのパフォーマンスを確立されたアーキテクチャと比較しました。結果は、アプリケーションのさまざまな分野で有望な進歩を示しています。
フィギュアの分類と視覚的な仕上がり
よく知られているImagenet-1Kデータセットでは、CTMは72.47％の上位1精度と89.89％の上位5精度を達成します。今日の標準のこれらの値は最高の値を表していませんが、Sakana AIは、これがプロジェクトの主要な目標ではないことを強調しています。これが、神経力学をイメージネット分類の表現の形として使用する最初の試みであることは注目に値します。
CIFAR 10データセットを使用したテストでは、CTMも従来のモデルよりもわずかに優れており、その予測は人間の意思決定行動により似ています。 CIFAR-10Hでは、CTMは0.15のキャリブレーション誤差を達成するため、人間（0.22）とLSTMS（0.28）の両方を超えています。
複雑な問題解決
64の長さのパリティタスクの場合、CTMは75バーを超える100％の印象的な精度を達成し、LSTMは60％未満で最大10の有効バーで立ち往生します。迷路の実験では、モデルは、LSTMの45％、フィードフォワードネットワークで20％のみであるのに対し、ルートの段階的計画に似た80％のルートの段階的計画に似た行動を実証しました。
モデルのモデルは、処理の深さを動的に適応させるために特に興味深いものです。単純なタスクの場合は早く停止し、より複雑に計算されます。これは、追加の損失関数なしで機能し、アーキテクチャの固有の特性です。
解釈可能性と透明性
CTMの優れた機能は、その解釈可能性です。画像処理中、注意ヘッドは体系的に関連する機能をスキャンします。これにより、モデルの「思考プロセス」に関する洞察が可能になります。 Labyrinthの実験では、システムは、開発者によれば、明らかにプログラムされていないルートAの動作の段階的な計画に似た動作を示しました。
Sakana AIは、ブラウザ内のCTMシステムが最大150ステップで迷路から抜け出す方法を見つけるインタラクティブなデモを提供します。この透明性は、多くの最新のAIシステムよりも重要な利点であり、その意思決定プロセスはしばしば「ブラックボックス」として認識されます。
に適し：
課題と制限
有望な結果にもかかわらず、CTMは依然としてかなりの課題に直面しています。
- コンピューティングの取り組み：すべての内部クロックには完全なフォワードランが必要であるため、LSTMSと比較してトレーニングコストが約3回増加します。
- スケーラビリティ：現在の実装は、最大1,000個のニューロンを処理し、トランスサイズ（1億以上のパラメーター）へのスケーリングはまだテストされていません。
- アプリケーションの領域：CTMは特定のテストで良い結果を示していますが、これらの利点が広範な実用的なアプリケーションでも使用されているかどうかはまだ不明です。
また、研究者はさまざまなモデルサイズを実験し、より多くのニューロンがより多様な活動パターンをもたらしたが、結果を自動的に改善しなかったことを発見しました。これは、モデルアーキテクチャ、サイズ、パフォーマンス間の複雑な関係を示しています。
Sakana AI：人工知能への新しいアプローチ
Sakana AIは、2023年7月に、元Googleの研究者であるAIの先見の明のあるDavid HaとLlion Jonesによって設立されました。同社は、多くの確立されたAI開発者よりも基本的なアプローチを追求しています。
サカナAIは、従来のリソース集約型AIモデルをより大きく、より大きなリソース集約型のAIモデルを歩く代わりに、特に魚の群れや鳥の群れの集合的な知性に触発されています。 Sakana AIは、ChatGptなどの広範な強力なモデルを開発するOpenaaiなどの企業とは対照的に、より小さな共同AIモデルを備えた分散型アプローチに依存しています。
この哲学はCTMにも反映されています。 Sakana AIは、より多くのパラメーターを備えたより大きなモデルを単純に構築する代わりに、AIシステムが情報を処理できる方法を根本的に変える可能性のある基本的な建築革新に焦点を当てています。
AI開発のパラダイムシフト？
継続的な思考マシンは、AI開発における重要なステップをマークする可能性があります。人工ニューラルネットワークの中心的要素として時間的ダイナミクスを再導入することにより、Sakana AIはAI研究のツールと概念のレパートリーを拡張します。
CTMの生物学的インスピレーション、解釈可能性、および適応計算の深さは、複雑な結論と問題解決を必要とするアプリケーション分野で特に価値がある可能性があります。さらに、このアプローチは、より少ないコンピューティングリソースで行うことができるより効率的なAIシステムにつながる可能性があります。
CTMが実際にブレークスルーを表しているかどうかはまだ不明です。最大の課題は、実験室テストから有望な結果を実用的なアプリケーションに変換し、アーキテクチャをより大きなモデルに拡大することです。
これに関係なく、CTMは、現在のAIシステムの印象的な成功にもかかわらず、人工ニューラルネットワークのアーキテクチャに基本的な革新のためのスペースがまだたくさんあることを示す勇敢で革新的なアプローチを表しています。 Sakana aisの連続思考機は、私たちが本当に人間の人工知能のように開発するための長い旅の始まりにしかないかもしれないことを思い出させます。
に適し：
AIの変革、AI統合、AIプラットフォーム業界の専門家
☑️ 私たちのビジネス言語は英語またはドイツ語です
☑️ NEW: 母国語での通信!
コンラッド・ウルフェンシュタイン
喜んで個人アドバイザーとしてあなたと私のチームにお役に立ちたいと思っています。
お問い合わせフォームにご記入 +49 89 89 674 804 (ミュンヘン)までお電話ください。私のメールアドレスは: wolfenstein ∂ xpert.digital
私たちの共同プロジェクトを楽しみにしています。
