发表于：2025年5月19日 /更新，发表于：2025年5月19日 - 作者： Konrad Wolfenstein
这就是AI像大脑一样学习的方式：使用Time-Sakana AI和连续的Thoug Machine-image学习新方法：XPERT.DIGITAL。
人类思维新：Sakana AI创新的CTM
机器思维2.0：为什么CTM是一个里程碑
日本启动Sakana AI的新的“连续思想机”（CTM）标志着AI研究的范式转变，通过确定神经元活动的时间动态作为机器思维的中心机制。与一轮处理信息的常规AI模型相反，CTM模拟了一个多阶段的思维过程，该过程更多地基于人脑的功能。
适合：
基于时间的思维的革命
尽管传统的AI模型（例如GPT-4或Llama 3工作）依次进行了输入，但输出量会超出CTM，因此该原理会破坏。该系统以内部时间概念的形式运行，因此可以逐渐发展模型的内部条件，因此可以逐渐发展。这种方法可以迭代适应，并创建一个更像自然思维过程而不是仅仅反应的过程。
Sakana AI解释说：“ CTM与时间的内部概念一起工作，即被数据输入解耦的SO内部滴答'。” “这使该模型在解决任务时可以'思考'几个步骤，而不是立即在一次运行中做出决定。”
这种方法的核心在于使用神经元同步作为代表的基本机制。 Sakana AI的灵感来自生物学大脑的功能，在这种情况下，神经元之间的时间协调起着至关重要的作用。这种生物学灵感超出了仅仅是一个隐喻，并构成了其AI发展哲学的基础。
神经元级模型：技术基础
CTM引入了复杂的神经体系结构，称为“神经元模型”（NLMS）。每个神经元都有自己的重量参数，并追求过去激活的历史。与传统的人工神经元网络相比，这些历史记录会影响神经元的行为，并实现更多的动态处理。
思维过程以几个内部步骤运行。首先，“突触模型”处理当前的神经元状态和外部输入数据，以创建第一个信号 - 所谓的预激活。随后，单个“神经元模型”使用这些信号的历史来计算其下一个状态。
随着时间的推移，记录神经元状态以分析神经元之间的同步强度。这种同步构成了模型的中心内部表示。另一种注意机制使系统能够选择和处理输入数据的相关部分。
性能和实践测试
在许多实验中，Sakana AI将CTM的性能与已建立的体系结构进行了比较。结果表明，在各个应用领域的进展有前途：
人物分类和视觉做工
在众所周知的Imagenet-1K数据集上，CTM的最高1精度为72.47％，前5个精度为89.89％。尽管当今标准的这些价值观并不代表最高价值，但Sakana AI强调，这不是项目的主要目标。值得注意的是，这是首次将神经动力学作为成像网分类的表示形式。
在使用CIFAR 10数据集的测试中，CTM也比常规模型要好得多，其预测与人类决策行为更相似。在CIFAR-10H时，CTM的校准误差仅为0.15，因此超过了人类（0.22）和LSTMS（0.28）。
复杂的问题解决
在长度为64的奇偶校验任务的情况下，CTM在75次超过75个条的情况下达到了100％的令人印象深刻的精度，而LSTMS最多可在10％的小于60％的情况下陷入困境。在迷宫实验中，该模型表明行为类似于途径的逐步计划，成功率为80％，而LSTMS为45％，而在饲料前向网络中只有20％。
该模型的模型特别有趣，可以动态调整其处理深度：在简单任务的情况下，它停止了，更复杂的是计算更长的时间。这无需其他损失功能而起作用，并且是体系结构的固有属性。
解释性和透明度
CTM的一个出色特征是其可解释性。在图像处理过程中，注意力负责人系统地扫描系统相关的功能，从而深入了解模型的“思维过程”。在迷宫实验中，该系统显示出类似于Route-A行为的行为，该行为据开发人员称，该行为是出现的，并且没有明确编程。
Sakana AI甚至提供了一个交互式演示，在该演示中，浏览器中的CTM系统在最多150个步骤中从迷宫中找到了它。与许多现代AI系统相比，这种透明度是一个重要的优势，其决策过程通常被视为“黑匣子”。
适合：
挑战和局限性
尽管结果有令人鼓舞，但CTM仍然面临着巨大的挑战：
- 计算工作：每个内部时钟都需要完整的前进运行，这与LSTM相比将培训成本提高约三倍。
- 可伸缩性：当前实现过程最多1,000个神经元，并且尚未测试变压器大小（≥10亿参数）。
- 应用领域：虽然CTM在特定的测试中表现出良好的结果，但在广泛的实际应用中是否也使用了这些优势，还有待观察。
研究人员还尝试了不同的模型大小，发现越来越多的神经元导致了更多不同的活动模式，但并未自动改善结果。这表明模型架构，大小和性能之间的复杂关系。
Sakana AI：一种新的人工智能方法
Sakana AI由AI有远见的David Ha和Llion Jones于2023年7月与前Google研究人员一起于2023年7月与Ren Ito一起成立，Ren Ito是Mercari的前雇员兼日本外交部官员。该公司采用的基本方法比许多建立的AI开发人员。
Sakana AI并没有走传统的道路，而是更加庞大，资源密集型的AI模型，而是受自然的启发，尤其是受鱼群和鸟群的集体智慧。与开发诸如Chatgpt之类的广泛强大模型的OpenAai之类的公司相反，Sakana AI依靠分散的方法，其较小的协作AI模型有效地合作。
这种哲学也反映在CTM中。 Sakana AI不简单地构建具有更多参数的较大模型，而是专注于基本的建筑创新，这些创新可以从根本上改变AI系统可以处理信息的方式。
AI开发的范式转变？
连续的思想机器可以标志着AI开发的重要一步。通过将时间动态重新引入为人工神经网络的核心元素，Sakana AI扩展了AI研究的工具和概念的曲目。
CTM的生物灵感，解释性和适应性计算深度可能在需要复杂结论和解决问题的应用领域特别有价值。此外，这种方法可能会导致更有效的AI系统，可以使用更少的计算资源来完成。
CTM是否真的代表突破还有待观察。最大的挑战是将实验室测试中有希望的结果转换为实际应用，并将架构扩展到更大的模型。
无论如何，CTM代表了一种勇敢而创新的方法，表明尽管当前的AI系统取得了令人印象深刻的成功，但在人工神经网络建筑中，基本创新仍然有很多空间。 Sakana AIS连续思想机器提醒我们，我们可能只是在漫长的旅程开始，以发展真正的人工智能。
适合：
您的AI转换，AI集成和AI平台行业专家
☑️我们的业务语言是英语或德语
☑️ 新：用您的国家语言进行通信！
康拉德·德军总部
我很乐意作为个人顾问为您和我的团队提供服务。
您可以通过填写此处的联系表，或者直接致电+49 89 89 674 804 （慕尼黑）。我的电子邮件地址是： wolfenstein ∂ xpert.digital
我很期待我们的联合项目。
