发布日期：2025 年 8 月 2 日 / 更新日期：2025 年 8 月 2 日 – 作者： Konrad Wolfenstein
谁是人工智能先驱？深度学习革命全面分析 – 图片来源：Xpert.Digital
忘记 ChatGPT：2017 年谷歌论文《你所需要的就是注意力》才是人工智能爆炸的真正原因
什么是深度学习时代？
深度学习时代是指自2010年以来，人工智能发展因多项技术突破而从根本上加速的时期。这一时代标志着人工智能历史的转折点，因为训练复杂神经网络的必要前提条件首次具备：充足的计算能力、海量数据以及更先进的算法。
深度学习是指能够自动从数据中提取抽象特征的多层神经网络。与以往的方法不同，这些系统不再需要手动编程来识别它们需要识别的特征；相反，它们可以独立于训练数据学习这些模式。
适合：
为什么深度学习革命始于 2010 年？
2010年是关键的一年，因为三个关键发展汇聚在一起。首先，ImageNet数据库发布，包含1000个类别的超过1000万张带标签的图像，从而首次为训练深度神经网络提供了足够大的数据集。
其次，图形处理单元 (GPU) 的性能已经足够强大，能够并行处理大量数据。NVIDIA 于 2007 年推出的 CUDA 平台，使研究人员能够执行深度学习所需的密集计算。
第三，算法的改进，尤其是使用 ReLU 激活函数替代传统的 S 型函数，显著加快了训练速度。这种融合最终使得 20 世纪 80 年代的理论基础得以付诸实践。
哪项突破标志着深度学习革命的开始？
决定性的突破发生在2012年9月30日，AlexNet在ImageNet竞赛中获胜。由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton开发的卷积神经网络实现了15.3%的Top-5错误率，比排名第二的算法高出10个百分点以上。
AlexNet 是第一个成功结合深度神经网络、海量数据集和 GPU 计算的模型。令人瞩目的是，训练过程仅用 Krizhevsky 卧室里的两块 NVIDIA 显卡完成。这一成功向科学界证明了深度学习不仅在理论上引人入胜，而且在实践中也同样卓越。
AlexNet 的成功引发了一系列的飞速发展。早在 2015 年，SENet 模型甚至超越了人类对 ImageNet 的识别率，错误率仅为 2.25%。短短几年内取得的显著进步，展现了深度学习技术的巨大潜力。
Transformer架构起到了什么作用？
2017年，谷歌团队发表了开创性的论文《Attention Is All You Need》，介绍了Transformer架构。该架构完全依赖于注意力机制，无需循环神经网络，彻底改变了自然语言处理。
Transformer 的特别之处在于其能够并行处理数据：之前的模型必须逐字逐句地进行处理，而 Transformer 可以同时处理整个句子。自注意力机制使模型能够理解句子中所有单词之间的关系，无论它们位于何处。
Transformer 架构成为了所有现代大规模语言模型（从 BERT 到 GPT 再到 Gemini）的基础。截至 2025 年，其原始论文已被引用超过 17.3 万次，被认为是 21 世纪最具影响力的科学著作之一。
为什么谷歌是领先的人工智能先驱？
根据 Epoch AI 的分析，谷歌凭借 168 个“值得关注”的 AI 模型遥遥领先。这种优势可以归因于该公司早期做出的几项战略决策。
谷歌早在 21 世纪初就大力投资人工智能研究，并很早就认识到了神经网络的潜力。2014 年收购 DeepMind 为公司带来了更多专业知识。2015 年开源 TensorFlow 框架也发挥了至关重要的作用，加速了全球人工智能的发展。
谷歌对 Transformer 架构的贡献尤为重要。这篇由谷歌研究人员于 2017 年发表的论文为当今的生成式人工智能奠定了基础。在此基础上，谷歌开发了 BERT（2018 年），彻底改变了自然语言处理，随后又开发了 Gemini 模型。
谷歌的研究与产品开发的紧密结合也为其高知名度做出了贡献。AI模型直接集成到谷歌搜索、YouTube和Android等服务中，这有助于其实际应用，从而符合“值得关注”模型的标准。
适合：
微软、OpenAI、Meta是如何发展的？
微软凭借 43 个值得关注的 AI 模型排名第二。该公司受益于与 OpenAI 的战略合作，微软为此投资了数十亿美元。此次合作使微软能够将 GPT 模型早期集成到 Bing 和 Copilot 等产品中。
OpenAI 成立于 2015 年，但凭借 40 个模型位居第三。GPT 系列的开发，从 GPT-1（2018 年）到当前的 GPT-4 和 o3 等模型，确立了 OpenAI 作为大型语言模型领先开发者的地位。2022 年发布的 ChatGPT 在五天内就达到了百万用户，将人工智能带入了公众视野。
Meta（Facebook）开发了 LLaMA 系列，包含 35 个模型，作为封闭模型的开源替代方案。LLaMA 模型，尤其是 LLaMA 3 和较新的 LLaMA 4，证明了开源模型也能与专有解决方案竞争。
适合：
什么使得人工智能模型“值得一提”？
如果一个人工智能模型至少满足以下四个标准之一，Epoch AI 就会将其定义为“值得关注的”。首先，它必须在公认的基准之上实现技术改进。其次，它的引用频率应超过 1,000 次。第三，即使该模型在技术上已经过时，历史相关性也可以作为一项标准。第四，要考虑其显著的实际用途。
这一定义不仅关注技术进步，也关注其在科学和经济环境中的实际影响和相关性。因此，即使一个模型并非技术上最先进的，只要它能够得到广泛的实际应用，就足以被视为值得关注。
Epoch AI 数据库涵盖了 1950 年至今的 2400 多个机器学习模型，是同类数据库中规模最大的公开数据集。这个全面的数据库能够深入分析 70 多年来人工智能的发展。
深度学习时代之前人工智能是如何发展的？
2010年之前的人工智能发展史，充斥着乐观与失望的循环。20世纪50年代和60年代，人们普遍抱有乐观的情绪，以弗兰克·罗森布拉特（Frank Rosenblatt）1957年的感知器为代表。这些早期的神经网络点燃了人们对人工智能即将到来的希望。
第一个人工智能寒冬始于20世纪70年代初，由马文·明斯基和西摩·帕普特1969年出版的《感知器极限》一书引发。1973年，莱特希尔向英国议会提交的报告导致研究经费大幅削减。这一阶段一直持续到1980年左右，并显著减缓了人工智能研究的进展。
20 世纪 80 年代，得益于 MYCIN（一种医疗诊断系统）等专家系统，神经网络再次复兴。与此同时，Geoffrey Hinton、David Rumelhart 和 Ronald Williams 于 1986 年开发了反向传播算法，使神经网络变得可训练。Yann LeCun 早在 1989 年就开发了 LeNet，这是一种用于手写识别的早期卷积神经网络。
第二次人工智能寒冬发生在20世纪80年代末，人们对专家系统和LISP机器的殷切期望落空。这一阶段一直持续到20世纪90年代，其特点是对神经网络的怀疑。
哪些技术基础使得深度学习成为可能？
三大关键突破推动了深度学习革命。强大的 GPU 的开发至关重要，因为它们能够并行处理大量数据。NVIDIA 于 2007 年推出的 CUDA 平台使 GPU 计算能够应用于机器学习。
第二个先决条件是拥有大量高质量的数据集。李飞飞于 2010 年发布的 ImageNet 是第一个提供超过 1000 万张带标签图像的数据集。如此规模的数据对于有效训练深度神经网络至关重要。
算法改进构成了第三个支柱。使用 ReLU 激活函数替代 S 型函数显著加快了训练速度。改进的优化程序和正则化技术（例如 Dropout）有助于解决过拟合问题。
人工智能训练的计算成本是如何发展的？
训练 AI 模型的成本呈指数级增长。2017 年，最初的 Transformer 模型的训练成本仅为 930 美元。2018 年，BERT-Large 的训练成本为 3300 美元，而 2020 年，GPT-3 的训练成本约为 430 万美元。
现代模型的成本甚至更高：GPT-4 的成本估计为 7840 万美元，而谷歌的 Gemini Ultra 成本约为 1.914 亿美元，可能是迄今为止训练成本最高的模型。这一趋势反映了模型的复杂性和规模的不断增长。
据Epoch AI称，训练所需的计算能力大约每五个月翻一番。这一发展速度远远超过了摩尔定律，体现了人工智能研究的快速扩展。与此同时，这也导致人工智能开发集中在少数拥有必要资源的公司手中。
适合：
人工智能的进一步发展面临哪些挑战？
人工智能发展面临诸多重大挑战。针对复杂逻辑推理进行优化的推理模型最早可能在2026年达到其规模极限。巨大的计算成本限制了能够参与前沿人工智能研究的参与者范围。
诸如幻觉（AI系统生成虚假信息）等技术问题尚未完全解决。与此同时，生成具有欺骗性的真实内容的可能性也引发了伦理问题，正如网上流传的教皇身穿羽绒服的AI图像所体现的那样。
高质量训练数据的可用性正日益成为瓶颈。许多模型已经使用大量可用的互联网数据进行训练，因此需要新的数据生成方法。
人工智能的发展对社会有何影响？
深度学习革命已产生巨大的社会影响。人工智能系统正应用于医疗诊断、金融和自动驾驶汽车等关键领域。从加速科学发现到个性化教育，其带来积极变革的潜力巨大。
与此同时，新的风险也不断涌现。制造逼真的虚假内容的能力威胁着信息完整性。自动化可能会危及就业岗位，德国联邦劳工部预计，到2035年，所有工作都将离不开人工智能软件。
人工智能权力集中在少数几家科技公司手中，引发了人们对这项强大技术的民主控制能力的质疑。深度学习先驱杰弗里·辛顿等专家已经警告过未来人工智能系统的潜在危险。
深度学习时代的人工智能先驱们创造了一项有可能彻底改变人类的技术。谷歌在168个重要人工智能模型的开发中处于领先地位，紧随其后的是微软、OpenAI和Meta，这表明创新力量正集中在少数几家公司手中。深度学习革命自2010年以来持续进行，由AlexNet和Transformer架构等突破性技术引领，它已经改变了我们的日常生活，并将在未来产生更大的影响。挑战在于如何利用这项强大的技术造福人类，同时最大限度地降低其风险。
适合：
您的AI转换，AI集成和AI平台行业专家
☑️我们的业务语言是英语或德语
☑️ 新：用您的国家语言进行通信！
康拉德·德军总部
我很乐意作为个人顾问为您和我的团队提供服务。
您可以通过填写此处的联系表，或者直接致电+49 89 89 674 804 （慕尼黑）。我的电子邮件地址是： wolfenstein ∂ xpert.digital
我很期待我们的联合项目。
