发布日期：2025年5月19日 / 更新日期：2025年5月19日 – 作者：Konrad Wolfenstein
人工智能如何像大脑一样学习：人工智能系统随时间学习的新方法——Sakana AI 和连续思维机器——图片来源：Xpert.Digital
重塑人类思维：Sakana AI 的创新 CTM
机器思维 2.0：为什么 CTM 是一个里程碑
日本初创公司Sakana AI推出的新型“连续思维机器”（CTM）标志着人工智能研究的范式转变，它将神经活动的动态变化确立为机器思维的核心机制。与传统人工智能模型一次性处理信息不同，CTM模拟了一个多阶段的思维过程，更接近人脑的运作方式。.
适合：
时间思维的革命
传统的AI模型，例如GPT-4或Llama 3，都是按顺序运行的——输入进入，输出输出——而CTM打破了这一原则。该系统采用内部时间概念，即所谓的“滴答”或离散时间步长，模型的内部状态通过这些时间步长逐步演化。这种方法实现了迭代适应，并创造了一个更接近自然思维过程而非简单反应的过程。.
Sakana AI解释说：“CTM采用内部时间概念，即所谓的‘内部滴答’，它与数据输入脱钩。这使得模型在解决任务时能够‘思考’多个步骤，而不是一次性做出决定。”
这种方法的核心在于利用神经同步作为一种基本的表征机制。Sakana AI 从生物大脑的运作机制中汲取灵感，在生物大脑中，神经元之间的时间协调起着至关重要的作用。这种生物学上的启发并非简单的比喻，而是构成了其人工智能开发理念的基石。.
神经元级模型：技术基础
CTM引入了一种被称为“神经元级模型”（NLM）的复杂神经网络架构。每个神经元都有其自身的权重参数，并记录其过往的激活历史。这些历史信息会影响神经元随时间推移的行为，从而实现比传统人工神经网络更动态的处理能力。.
思维过程分几个内部步骤展开。首先，“突触模型”处理当前的神经元状态以及外部输入数据，生成初始信号——即所谓的预激活。随后，各个“神经元模型”访问这些信号的历史记录，以计算其下一个状态。.
通过记录神经元状态随时间的变化，分析神经元之间的同步强度。这种同步构成了模型的核心内部表征。此外，一种注意力机制使系统能够选择性地选择和处理输入数据的相关部分。.
性能和实际测试
Sakana AI 在一系列实验中将 CTM 的性能与现有架构进行了比较。结果显示，CTM 在各个应用领域都取得了令人瞩目的进展：
图像分类和视觉处理
在著名的 ImageNet 1K 数据集上，CTM 的 Top 1 准确率达到了 72.47%，Top 5 准确率达到了 89.89%。虽然这些数值按今天的标准来看并非顶尖水平，但 Sakana AI 强调这并非该项目的主要目标。值得注意的是，这是首次尝试将神经动力学作为 ImageNet 分类的表征方法。.
在使用 CIFAR-10 数据集的测试中，CTM 的表现也略优于传统模型，其预测结果更接近人类决策。在 CIFAR-10H 数据集上，CTM 的校准误差仅为 0.15，优于人类（0.22）和 LSTM（0.28）。.
复杂问题解决
在长度为 64 的奇偶校验任务中，CTM 模型在超过 75 个时钟周期内实现了令人瞩目的 100% 准确率，而 LSTM 模型在最多 10 个有效时钟周期内准确率均低于 60%。在迷宫实验中，该模型展现出类似于逐步路径规划的行为，成功率高达 80%，而 LSTM 模型的成功率为 45%，前馈网络的成功率仅为 20%。.
该模型最引人注目之处在于其动态调整处理深度的能力：对于简单任务，它会提前停止计算；对于更复杂的任务，则会进行更长时间的计算。这种特性无需额外的有损函数即可实现，是该架构的固有特性。.
可解释性和透明度
CTM 的一个关键特性是其可解释性。在图像处理过程中，注意力头会系统地扫描相关特征，从而揭示模型的“思考过程”。在迷宫实验中，该系统表现出类似于逐步规划路线的行为——据开发者称，这种行为是涌现的，而非显式编程的。.
Sakana AI 甚至提供了一个交互式演示，其中 CTM 系统在浏览器中最多只需 150 步即可走出迷宫。这种透明性是其相对于许多现代 AI 系统的显著优势，因为这些系统的决策过程通常被视为“黑箱”。.
适合：
挑战和局限性
尽管取得了令人鼓舞的成果，CTM 仍然面临着巨大的挑战：
- 计算量：每个内部时钟周期都需要完整的向前传播，这使得训练成本比 LSTM 增加了大约三倍。.
- 可扩展性：目前的实现最多可以处理 1,000 个神经元，扩展到 Transformer 规模（≥10 亿参数）尚未经过测试。.
- 应用领域：虽然 CTM 在特定测试中表现出良好的效果，但这些优势是否也能转化为广泛的实际应用还有待观察。.
研究人员还尝试了不同规模的模型，发现虽然更多的神经元会带来更多样化的活动模式，但并不一定会提升结果。这表明模型架构、规模和性能之间存在着复杂的关系。.
Sakana AI：人工智能的新方法
Sakana AI由人工智能领域的远见卓识者David Ha和Lion Jones（两人均为前谷歌研究员）以及前Mercari员工、日本外务省官员Ren Ito于2023年7月创立。该公司采取的方法与许多老牌人工智能开发商截然不同。.
Sakana AI 没有采用传统的构建庞大、资源密集型 AI 模型的方法，而是从自然界汲取灵感，特别是鱼群和鸟群的集体智慧。与 OpenAI 等开发 ChatGPT 等大型强大模型的公司不同，Sakana AI 采用去中心化方法，构建规模较小、协同工作的 AI 模型，实现高效协作。.
这种理念也体现在CTM中。Sakana AI并没有简单地构建参数更多的大型模型，而是专注于基础架构的创新，力求从根本上改变人工智能系统处理信息的方式。.
人工智能发展范式的转变？
连续思维机器可能标志着人工智能发展的一个重要里程碑。Sakana AI 将时间动态性重新引入人工神经网络的核心要素，从而扩展了人工智能研究的工具和概念库。.
CTM的生物学启发性、可解释性和自适应计算深度在需要复杂推理和问题解决的应用中可能尤为重要。此外，这种方法有望构建更高效、所需计算资源更少的AI系统。.
CTM是否真正代表一项突破还有待观察。最大的挑战在于如何将实验室测试中令人鼓舞的结果转化为实际应用，以及如何将该架构扩展到更大的模型。.
无论如何，CTM代表了一种大胆而创新的方法，表明尽管当前的AI系统取得了令人瞩目的成功，但在人工神经网络的架构方面仍然存在着巨大的基础性创新空间。Sakana AI的连续思维机器提醒我们，我们或许仅仅处于开发真正类人人工智能漫长征程的开端。.
适合：
您的AI转换，AI集成和AI平台行业专家
☑️我们的业务语言是英语或德语
☑️ 新：用您的国家语言进行通信！
Konrad Wolfenstein
我很乐意作为个人顾问为您和我的团队提供服务。
您可以通过填写此处的联系表，或者直接致电+49 89 89 674 804 （慕尼黑）。我的电子邮件地址是： wolfenstein ∂ xpert.digital
我很期待我们的联合项目。
