AMI – 고급 머신 인텔리전스 – 스케일링의 종말: Yann LeCun이 더 이상 LLM을 믿지 않는 이유

잘못된 접근 방식에 6천억 달러? "AI의 대부"가 LLaMA, ChatGPT 등에 베팅하다

이 발표는 2025년 11월, 기술 업계에 벼락처럼 쏟아졌습니다. 딥러닝의 세 창시자 중 한 명이자 메타(Meta)의 수석 과학자인 얀 르쿤(Yann LeCun)은 12년간 메타에서 근무한 후 자신의 스타트업을 설립하기 위해 회사를 떠나겠다고 발표했습니다. 이 결정은 한 과학자의 개인적인 진로 선택 그 이상의 의미를 지닙니다. 이는 글로벌 인공지능 산업의 근본적인 전환점을 의미하며, 단기적인 시장 이익과 장기적인 과학적 비전 사이의 격차가 커지고 있음을 보여줍니다.

2018년 제프리 힌튼, 요슈아 벤지오와 함께 튜링상을 수상한 르쿤은 오늘날 현대 이미지 처리 시스템의 기반을 형성하는 합성곱 신경망의 설계자로 여겨집니다. 그의 사임은 업계 전체가 대규모 언어 모델에 수천억 달러를 투자하고 있는 시기에 이루어졌는데, 르쿤은 수년간 이 기술을 근본적인 막다른 골목이라고 지적해 왔습니다. 현재 65세인 이 과학자는 새 회사를 통해, 텍스트가 아닌 물리적 인식에서 출발하여 세계 모델에 기반한 근본적으로 다른 접근 방식인, 그가 '고급 기계 지능'이라고 부르는 것을 추구할 계획입니다.

이러한 발전이 가져오는 경제적 영향은 엄청납니다. 메타(Meta)는 지난 3년간 AI 인프라에 6천억 달러 이상을 투자했습니다. OpenAI는 연간 매출이 100억 달러에 불과함에도 불구하고 기업 가치가 5천억 달러에 달했습니다. 업계 전체가 가장 중요한 선구자 중 한 명이 공개적으로 막다른 골목이라고 표현한 방향으로 나아가고 있습니다. 이러한 변화의 경제적 결과를 이해하려면 현재 AI 혁명의 기술적, 조직적, 그리고 재무적 구조를 심층적으로 살펴봐야 합니다.

적합:

• 메타, 미국 AI 인프라 구축 위해 6000억 달러 투자

거품의 구조

2017년 구글 연구진이 도입한 트랜스포머 아키텍처는 전례 없는 속도로 AI 환경을 혁신했습니다. 이 접근 방식을 통해 이전에는 불가능했던 수준의 성능을 갖춘 방대한 양의 텍스트를 효율적으로 처리하고 언어 모델을 학습할 수 있게 되었습니다. OpenAI는 이러한 기반을 바탕으로 GPT 시리즈를 개발했고, 2022년 11월 ChatGPT를 통해 이러한 기술이 어떤 성과를 낼 수 있는지 대중에게 처음으로 보여주었습니다. 반응은 폭발적이었습니다. 몇 달 만에 수백억 달러가 이 분야로 유입되었습니다.

그러나 2024년 말부터 이러한 기하급수적인 발전이 한계에 다다르고 있다는 징후가 점점 더 많아지고 있습니다. OpenAI는 내부적으로 Orion 또는 GPT-5라고 불리는 GPT-4의 후속 모델을 18개월 이상 개발해 왔습니다. 회사는 최소 두 번의 대규모 학습을 수행했으며, 각 학습에는 약 5억 달러가 소요되었다고 합니다. 그 결과는 매우 충격적이었습니다. GPT-4가 GPT-3에 비해 엄청난 성능 향상을 보인 반면, Orion의 GPT-4 대비 개선 효과는 미미했습니다. 특히 프로그래밍과 같은 일부 영역에서는 이 모델이 거의 진전을 보이지 않았습니다.

이러한 발전은 최근까지 업계 전체를 이끌어 온 경험적 원칙인 스케일링 법칙과 근본적으로 모순됩니다. 기본 아이디어는 간단했습니다. 모델을 더 크게 만들고, 학습에 더 많은 데이터를 사용하고, 컴퓨팅 파워를 더 많이 투자하면 성능 향상은 예측 가능한 거듭제곱 함수에 따른다는 것입니다. 이 원리는 보편적으로 적용되는 것처럼 보였고, 최근 몇 년간의 천문학적인 투자를 정당화했습니다. 하지만 이제 이러한 곡선은 평탄해지고 있는 것으로 나타났습니다. 투자가 두 배로 증가하더라도 더 이상 기대했던 성능 두 배 증가를 가져오지 않습니다.

그 이유는 다양하고 기술적으로 복잡합니다. 가장 큰 문제는 데이터 장벽입니다. GPT-4는 약 13조 개의 토큰으로 학습되었는데, 이는 사실상 공개적으로 이용 가능한 인터넷 전체에 해당합니다. GPT-5의 경우, 새롭고 고품질의 데이터가 충분하지 않습니다. OpenAI는 소프트웨어 개발자, 수학자, 이론 물리학자를 고용하여 코드를 작성하고 수학 문제를 해결하여 새로운 데이터를 생성하는 방식으로 대응했습니다. 그러나 1,000명이 하루에 5,000개의 단어를 생성하더라도, 10억 개의 토큰을 생성하는 데 몇 달이 걸릴 것입니다. 인간이 생성한 데이터를 사용하여 확장하는 것은 불가능합니다.

대안으로 기업들은 합성 데이터, 즉 다른 AI 모델에서 생성된 데이터에 점점 더 의존하고 있습니다. 하지만 여기에는 새로운 위험이 도사리고 있습니다. 바로 모델 붕괴입니다. 다른 모델에서 생성된 데이터로 모델을 재귀적으로 학습시키면 작은 오류도 세대를 거듭할수록 증폭됩니다. 그 결과 모델은 현실과 점점 더 동떨어지고, 데이터 속 소수 집단은 불균형적으로 사라지게 됩니다. 2024년 네이처(Nature)에 발표된 한 연구에 따르면 이러한 과정은 놀라울 정도로 빠르게 진행됩니다. 따라서 합성 데이터는 만병통치약이 아니라 심각한 위험을 안고 있습니다.

에너지 전환과 성장의 한계

데이터 장벽 외에도 훨씬 더 근본적인 장벽이 있습니다. 바로 에너지 장벽입니다. GPT-3 훈련에는 약 1,300메가와트의 전기가 소모되었는데, 이는 미국 130가구의 연간 전력 소비량과 맞먹는 수치입니다. GPT-4는 그보다 약 50배인 65,000메가와트의 전력을 필요로 했습니다. 대규모 AI 모델을 훈련하는 데 필요한 컴퓨팅 성능은 약 100일마다 두 배로 증가합니다. 이러한 기하급수적인 증가는 물리적 한계에 빠르게 도달합니다.

이러한 모델을 훈련하고 운영하는 데이터 센터는 이미 소도시만큼이나 많은 전력을 소비하고 있습니다. 국제에너지기구(IEA)는 데이터 센터의 전력 소비량이 2022년 20테라와트시에서 2026년 36테라와트시로 80% 증가할 것으로 예측합니다. AI는 이러한 성장의 주요 동력입니다. 참고로, ChatGPT 쿼리 하나당 소비되는 에너지는 Google 검색보다 약 10배 더 많습니다. 하루에 수십억 건의 쿼리가 발생한다는 점을 고려하면 엄청난 양입니다.

이러한 상황으로 인해 기술 기업들은 과감한 조치를 취해야 하는 상황에 직면해 있습니다. 마이크로소프트는 이미 원자력 에너지 공급업체와 계약을 체결했습니다. 메타, 아마존, 구글은 향후 몇 년 동안 필요한 인프라 구축에 총 1조 3천억 달러 이상을 투자할 예정입니다. 그러나 이러한 투자는 물리적, 정치적 한계에 부딪히고 있습니다. 미국은 계획된 AI 데이터 센터에 전력을 공급할 충분한 에너지 인프라를 갖추고 있지 않습니다. 분석가들은 에너지 인프라 병목 현상으로 인해 7,500억 달러 규모의 프로젝트가 2030년까지 지연될 수 있다고 추정합니다.

여기에 지정학적 측면이 더해집니다. AI 산업의 에너지 수요는 자원 경쟁을 심화시키고 화석 연료 의존도를 높입니다. 정책 입안자들이 기후 중립을 요구하는 반면, AI 산업은 에너지 소비를 증가시키고 있습니다. 이러한 갈등은 향후 몇 년 동안 심화될 것이며, 산업 성장을 제한하는 규제 개입으로 이어질 수 있습니다.

건축적 벽과 르쿤의 대안

세 번째 장벽은 아마도 가장 근본적인 것일 것입니다. 바로 건축적 장벽입니다. 얀 르쿤은 트랜스포머 아키텍처가 단순히 확장만으로는 극복할 수 없는 본질적인 한계를 가지고 있다고 수년간 주장해 왔습니다. 그의 비판은 대규모 언어 모델(Large Language Models)의 근본적인 작동 방식에 초점을 맞춥니다. 이러한 시스템은 시퀀스의 다음 단어를 예측하도록 훈련됩니다. 방대한 텍스트 코퍼스에서 통계적 패턴을 학습하지만, 인과 관계, 물리 법칙 또는 장기 계획에 대한 진정한 이해를 개발하지는 못합니다.

르쿤은 이 문제를 비교를 통해 설명하기를 좋아합니다. 네 살짜리 아이는 시각적 인식을 통해 세상에 대한 더 많은 정보를 가장 뛰어난 언어 모델이 텍스트를 통해 습득하는 것보다 더 많이 습득합니다. 아이는 사물이 단순히 사라지는 것이 아니라, 무거운 물건이 떨어진다는 것, 그리고 행동에는 결과가 따른다는 것을 직관적으로 이해합니다. 아이는 물리적 현실에 대한 내적 표상인 세계 모델을 개발하여 이를 바탕으로 예측을 하고 행동을 계획합니다. LLM은 이러한 근본적인 능력이 부족합니다. 아이는 놀라울 정도로 일관성 있는 텍스트를 생성할 수 있지만, 세상을 이해하지 못합니다.

이러한 한계는 실제 적용 사례에서 끊임없이 드러납니다. GPT-4에 회전하는 정육면체를 시각화하도록 요청하면, 어떤 어린이도 쉽게 수행할 수 있는 과제를 수행하는 데 실패합니다. 다단계 계획이 필요한 복잡한 과제에서는 모델이 정기적으로 실패합니다. 모든 토큰 예측 오류가 잠재적으로 연쇄적으로 발생하고 증폭되기 때문에 오류로부터 신뢰할 수 있는 학습을 할 수 없습니다. 자기회귀 모델은 근본적으로 취약합니다. 시퀀스 초기의 오류는 전체 결과를 망칠 수 있습니다.

르쿤의 대안은 조인트 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture)에 기반한 세계 모델입니다. 기본 아이디어는 AI 시스템이 텍스트 예측을 통해 학습하는 것이 아니라 미래 상태에 대한 추상적인 표현을 예측함으로써 학습해야 한다는 것입니다. 픽셀 단위나 토큰 단위로 생성하는 대신, 시스템은 세계에 대한 압축되고 구조화된 표현을 학습하고, 이를 활용하여 행동하기 전에 다양한 시나리오를 정신적으로 시뮬레이션할 수 있습니다.

LeCun의 리더십 하에 Meta는 이미 이 접근법을 여러 차례 구현했습니다. 이미지용 I-JEPA와 비디오용 V-JEPA는 유망한 결과를 보여줍니다. 이 모델들은 집중적인 데이터 수집에 의존하지 않고도 고수준 객체 구성 요소와 그 공간 관계를 학습합니다. 또한 기존 모델보다 학습 에너지 효율성이 훨씬 높습니다. Meta의 목표는 이러한 접근법들을 결합하여 다양한 추상화 수준과 시간 척도에서 작동할 수 있는 계층적 시스템을 구축하는 것입니다.

중요한 차이점은 학습 과정의 본질에 있습니다. LLM은 본질적으로 패턴 매칭을 강화하는 반면, 세계 모델은 현실의 구조와 인과 관계를 파악하는 것을 목표로 합니다. 견고한 세계 모델을 갖춘 시스템은 실제로 행동을 수행하지 않고도 그 결과를 예측할 수 있습니다. 표면적인 상관관계뿐 아니라 근본적인 원리를 이해하기 때문에 몇 가지 사례를 통해 학습할 수 있습니다.

조직적 기능 장애와 메타의 실존적 위기

그러나 르쿤의 사임은 단순히 과학적 결정이 아니라 메타의 조직 기능 장애의 결과이기도 합니다. 2025년 6월, 마크 저커버그 CEO는 AI 부서의 대대적인 구조 조정을 발표했습니다. 그는 인공지능(AI) 개발을 목표로 하는 새로운 부서인 메타 슈퍼인텔리전스 랩스(Meta Superintelligence Labs)를 설립했습니다. 이 부서는 데이터 분석 회사 스케일 AI(Scale AI)의 전 CEO였던 28세의 알렉산드르 왕(Alexandr Wang)이 이끌었습니다. 메타는 스케일 AI에 143억 달러를 투자하고 경쟁사 출신 엔지니어와 연구원 50명 이상을 영입했습니다.

이 결정은 기존 구조를 완전히 뒤집어 놓았습니다. PyTorch와 최초의 Llama 모델을 개발하는 데 수년간 헌신했던 LeCun의 기초 AI 연구팀이 소외되었습니다. FAIR는 5년에서 10년의 기간을 둔 기초 연구에 집중하는 반면, 새로운 초지능 연구실은 단기 제품 개발에 집중했습니다. 소식통에 따르면 Meta의 AI 부서는 점점 더 혼란스러워지고 있습니다. 새로 채용된 최고 인재들은 대기업의 관료주의에 좌절감을 표했고, 기존 팀들은 영향력이 약해지는 것을 느꼈습니다.

불과 6개월 만에 여러 차례의 구조조정으로 상황은 더욱 악화되었습니다. 2025년 8월, 슈퍼인텔리전스 랩스는 다시 조직 개편되었는데, 이번에는 네 개의 하위 조직으로 나뉘었습니다. 새로운 모델을 담당하는 미스터리한 TBD 랩, 제품팀, 인프라팀, 그리고 FAIR입니다. 10월에는 또다시 대규모 해고가 이어졌고, 약 600명의 직원이 퇴직금을 받았습니다. 조직 복잡성을 줄이고 AI 개발을 가속화하기 위한 조치라고 명시되어 있습니다.

이러한 끊임없는 구조조정은 OpenAI, Google, Anthropic과 같은 경쟁사들의 상대적인 안정성과는 극명한 대조를 이룹니다. 이는 Meta가 올바른 전략적 방향에 대해 근본적인 불확실성을 가지고 있음을 시사합니다. 저커버그는 Meta가 AI 주도권 경쟁에서 뒤처지고 있음을 인지했습니다. 2025년 4월에 출시된 Llama 4는 실망스러웠습니다. Maverick 모델은 우수한 효율성을 보였지만, 장기적으로는 큰 성과를 내지 못했습니다. Meta가 일반적인 시험 문제를 기반으로 모델을 특별히 학습시켜 벤치마크 최적화를 진행함으로써 인위적으로 성능을 부풀렸다는 의혹이 제기되었습니다.

르쿤에게 상황은 더 이상 지속될 수 없게 되었습니다. 장기적인 기초 연구에 대한 그의 비전은 단기적인 제품 성공을 달성해야 한다는 압박과 충돌했습니다. 그가 상당히 젊은 왕에게 사실상 종속되어 있었다는 사실이 그의 결정에 영향을 미쳤을 가능성이 큽니다. 르쿤은 작별 인사에서 메타가 새 회사의 파트너로 남을 것이라고 강조했지만, 메시지는 분명합니다. 그가 필수적이라고 생각하는 독립적인 연구는 더 이상 기업 구조 내에서 가능하지 않다는 것입니다.

'Managed AI'(인공지능)로 디지털 혁신의 새로운 차원을 열다 - 플랫폼 및 B2B 솔루션 | Xpert Consulting - 이미지: Xpert.Digital

여기에서는 귀하의 회사가 맞춤형 AI 솔루션을 빠르고 안전하게, 그리고 높은 진입 장벽 없이 구현할 수 있는 방법을 알아보실 수 있습니다.

관리형 AI 플랫폼은 인공지능을 위한 만능, 안심 패키지입니다. 복잡한 기술, 값비싼 인프라, 그리고 긴 개발 프로세스 대신, 전문 파트너를 통해 고객의 니즈에 맞춘 턴키 솔루션을 며칠 안에 제공해 드립니다.

한눈에 보는 주요 이점:

⚡ 빠른 구현: 몇 달이 아닌 단 며칠 만에 아이디어부터 실제 운영까지, 즉각적인 가치를 창출하는 실용적인 솔루션을 제공합니다.

🔒 최고의 데이터 보안: 귀하의 민감한 데이터는 귀하에게 안전하게 보관됩니다. 당사는 제3자와 데이터를 공유하지 않고 안전하고 규정을 준수하는 처리를 보장합니다.

💸 재정적 위험 없음: 결과에 대해서만 비용을 지불합니다. 하드웨어, 소프트웨어 또는 인력에 대한 높은 초기 투자가 전혀 필요하지 않습니다.

🎯 핵심 사업에 집중하세요. 가장 잘하는 일에 집중하세요. AI 솔루션의 모든 기술 구현, 운영 및 유지 관리를 저희가 책임집니다.

📈 미래 지향적이며 확장 가능합니다. AI는 고객과 함께 성장합니다. 지속적인 최적화와 확장성을 보장하며, 새로운 요구 사항에 맞춰 모델을 유연하게 조정합니다.

자세한 내용은 여기를 참조하세요.

• 관리형 AI 솔루션 - 산업 AI 서비스: 서비스, 산업 및 기계 엔지니어링 부문의 경쟁력을 위한 핵심

물집 형성의 경제적 해부학

Meta의 발전은 AI 산업의 더 광범위한 경제적 역동성을 잘 보여줍니다. 2022년 말 ChatGPT의 획기적인 성과 이후 전례 없는 투자 붐이 일어났습니다. 2025년 1분기에만 731억 달러가 AI 스타트업에 유입되었으며, 이는 전체 벤처 캐피털 투자의 58%에 해당합니다. OpenAI는 5천억 달러의 기업 가치를 달성하여, 수익을 창출하지 않고도 이 기준을 넘어선 최초의 민간 기업이 되었습니다.

기업 가치 평가는 실제 매출에 비해 매우 불균형합니다. OpenAI는 2025년에 연간 매출 100억 달러를 달성했고, 기업 가치는 5,000억 달러로 평가되어 주가매출비율(P/S)은 50에 불과했습니다. 참고로, 닷컴 버블이 한창일 때조차 이러한 배수를 달성한 기업은 거의 없었습니다. Anthropic은 기업 가치 1,700억 달러, 매출 22억 달러, 주가수익비율(P/E)은 약 77입니다. 이러한 수치는 엄청난 과대평가를 시사합니다.

특히 문제가 되는 것은 순환 자금 조달 구조입니다. 엔비디아는 OpenAI에 1,000억 달러를 투자하고 있으며, OpenAI는 수백억 달러 상당의 엔비디아 칩을 구매해야 합니다. OpenAI는 AMD와도 수백억 달러 규모의 유사한 계약을 체결했습니다. 마이크로소프트는 OpenAI에 130억 달러 이상을 투자하고 Azure에 인프라를 구축했습니다. 아마존은 Anthropic에 80억 달러를 투자했고, Anthropic은 그 대가로 AWS를 주요 클라우드 플랫폼으로 사용하고 자체 AI 칩을 사용합니다.

이러한 방식은 1990년대 후반 기술 기업들이 서로 장비를 판매하고 실질적인 경제적 가치를 창출하지 못한 채 거래를 수익으로 인식했던 순환 자금 조달 방식을 섬뜩하게 연상시킵니다. 분석가들은 점점 더 복잡하고 불투명해지는 기업 관계망이 1조 달러 규모의 호황을 부추기고 있다고 지적합니다. 닷컴 버블과 2008년 금융 위기의 유사점은 분명합니다. 투자자들이 이해하고 평가하기 어려운 불투명하고 비전통적인 자금 조달 방식입니다.

여기에 자본 집중도까지 더해졌습니다. 미국 7대 기술 기업인 '매그니피센트 세븐(Magnificent Seven)'은 2023년 에너지 소비량을 19% 늘린 반면, S&P 500 기업의 에너지 소비량 중간값은 정체되었습니다. 2025년 미국 주식 시장 상승분의 약 80%는 AI 관련 기업에서 기인했습니다. 개인 투자자들이 가장 많이 매수한 주식은 엔비디아뿐이었는데, 2024년 엔비디아에 약 300억 달러를 투자했습니다.

이러한 극단적인 집중은 시스템적 위험을 수반합니다. 수익률 기대치가 비현실적이라면, 시장 붕괴는 광범위한 결과를 초래할 수 있습니다. JP모건은 AI 관련 투자 등급 채권 발행 규모만 2030년까지 1조 5천억 달러에 달할 것으로 추산합니다. 이러한 부채의 상당 부분은 AI 시스템이 막대한 생산성 향상을 가져올 것이라는 가정에 기반하고 있습니다. 이러한 기대가 실현되지 않을 경우, 신용 위기가 닥칠 수 있습니다.

적합:

• 메타는 초지능에 모든 것을 걸고 있습니다: 수십억 달러 투자, 대규모 데이터 센터, 위험한 AI 경쟁

인재 전쟁과 사회적 격변

경제적 긴장은 노동 시장에서도 나타나고 있습니다. AI 채용 공고와 적격 지원자 비율은 3.2 대 1입니다. 160만 개의 채용 공고가 있지만, 적격 지원자는 51만 8천 명에 불과합니다. 이러한 극심한 인력 부족으로 연봉이 천문학적인 수준으로 치솟고 있습니다. AI 전문가들은 파이썬, 텐서플로우 또는 특수 AI 프레임워크 활용 능력을 습득함으로써 연간 수입을 수만 달러까지 늘릴 수 있습니다.

경쟁이 치열합니다. 대형 기술 기업, 자금력이 풍부한 스타트업, 심지어 정부까지 소수의 전문가를 영입하기 위해 경쟁하고 있습니다. OpenAI는 최근 몇 달 동안 공동 창업자 일리아 수츠케버와 최고기술책임자(CTO) 미라 무라티를 포함한 임원진의 이탈을 경험했습니다. 이러한 재능 있는 인재 중 다수가 자체 스타트업을 설립하거나 경쟁사로 이직하고 있습니다. Meta는 OpenAI, Anthropic, Google에서 적극적으로 인재를 영입하고 있으며, Anthropic은 Meta와 OpenAI에서 인재를 영입하고 있습니다.

이러한 역학 관계는 여러 가지 결과를 초래합니다. 첫째, 연구 환경을 분열시킵니다. 서로 다른 조직에 속한 소규모 팀들이 공통의 목표를 향해 나아가는 대신, 동일한 혁신을 위해 경쟁하게 됩니다. 둘째, 비용이 증가합니다. AI 전문가의 막대한 연봉은 자본력이 충분한 기업에서만 감당할 수 있기 때문에 소규모 기업들은 시장에서 배제됩니다. 셋째, 프로젝트가 지연됩니다. 기업들은 채용 공고가 몇 달 동안 채워지지 않아 개발 일정이 차질을 빚는다고 보고합니다.

사회적 영향은 기술 분야를 훨씬 넘어섭니다. AI가 진정으로 차세대 산업 혁명을 대표한다면, 노동 시장의 대대적인 격변이 임박할 것입니다. 주로 육체 노동에 영향을 미쳤던 1차 산업 혁명과 달리, AI는 인지적 작업을 목표로 합니다. 단순한 데이터 입력과 고객 서비스뿐만 아니라 프로그래머, 디자이너, 변호사, 언론인과 같은 고숙련 직종에도 위협이 될 수 있습니다.

투자 관리 산업에 대한 한 연구에 따르면 AI와 빅데이터로 인해 노동 기반 소득 비중이 5% 감소할 것으로 예측됩니다. 이는 산업 혁명 당시 5~15% 감소를 초래했던 변화와 유사합니다. 중요한 차이점은 현재의 변화가 수십 년이 아닌 수년에 걸쳐 진행되고 있다는 것입니다. 사회는 적응할 시간이 거의 없습니다.

테스트 시간 컴퓨팅 및 패러다임 전환

사전 학습을 위한 스케일링 법칙이 한계에 다다르면서, 새로운 패러다임이 등장했습니다. 바로 테스트 시간 컴퓨팅 스케일링입니다. OpenAI의 o1 모델은 추론 과정에서 컴퓨팅 파워를 더 많이 투자함으로써 상당한 성능 향상이 가능함을 보여주었습니다. 단순히 모델 크기를 늘리는 대신, 이러한 시스템은 모델이 쿼리에 대해 더 오랫동안 생각하고, 여러 가지 해결 방법을 모색하며, 답을 스스로 검증할 수 있도록 합니다.

그러나 연구에 따르면 이 패러다임에도 한계가 있습니다. 모델이 동일한 문제를 여러 번 반복하는 순차적 확장은 지속적인 개선으로 이어지지 않습니다. Deepseeks R1이나 QwQ와 같은 모델에 대한 연구는 사고 과정이 길다고 해서 자동으로 더 나은 결과가 나오는 것은 아니라는 것을 보여줍니다. 모델은 종종 정답을 오답으로 수정하는 것이 아니라, 정답을 오답으로 수정합니다. 효과적인 순차적 확장에 필요한 자체 수정 역량이 충분히 개발되지 않은 것입니다.

여러 솔루션을 동시에 생성하고 가장 적합한 솔루션을 선택하는 병렬 확장 방식이 더 나은 결과를 보여줍니다. 그러나 이 경우에도 투자된 컴퓨팅 성능이 두 배로 증가함에 따라 한계 편익이 감소합니다. 비용 효율성이 급격히 떨어집니다. 하루에 수백만 건의 질의에 응답해야 하는 상용 애플리케이션의 경우, 비용이 엄청나게 듭니다.

진정한 돌파구는 서로 다른 접근 방식을 결합하는 데 있을 수 있습니다. 트랜스포머와 상태 공간 모델을 결합한 하이브리드 아키텍처는 두 모델의 장점을 모두 활용할 수 있도록 합니다. 맘바와 같은 상태 공간 모델은 추론에서 선형적인 스케일링 동작을 제공하는 반면, 트랜스포머는 장거리 종속성을 포착하는 데 탁월합니다. 이러한 하이브리드 시스템은 비용-품질 방정식의 균형을 재조정할 수 있습니다.

트랜스포머 이후의 대안적 아키텍처와 미래

세계 모델과 더불어, 트랜스포머의 지배력에 도전할 수 있는 여러 대안 아키텍처가 등장하고 있습니다. 상태 공간 모델은 최근 몇 년 동안 상당한 진전을 이루었습니다. S4, Mamba, 그리고 Hyena는 선형 복잡도를 가진 효율적인 장문 맥락 추론이 가능함을 보여줍니다. 트랜스포머는 시퀀스 길이에 따라 2차적으로 확장되는 반면, SSM은 학습과 추론 모두에서 선형 확장을 달성합니다.

이러한 효율성 향상은 AI 시스템이 프로덕션 환경에 배포될 때 매우 중요할 수 있습니다. 추론 비용은 종종 과소평가되어 왔습니다. 학습은 일회성 투자이지만, 추론은 지속적으로 실행됩니다. ChatGPT는 오프라인 상태가 아닙니다. 매일 수십억 건의 쿼리를 처리하기 때문에 작은 효율성 향상이라도 막대한 비용 절감으로 이어집니다. 동일한 품질을 제공하는 데 절반의 컴퓨팅 성능을 필요로 하는 모델은 엄청난 경쟁 우위를 확보합니다.

문제는 이러한 기술의 성숙도에 있습니다. 트랜스포머는 거의 8년이나 앞서 나가고 있으며, 방대한 도구, 라이브러리, 그리고 전문 지식 생태계를 갖추고 있습니다. 대안 아키텍처는 기술적으로 우수할 뿐만 아니라 실질적으로 사용 가능해야 합니다. 기술의 역사는 기술적으로 우수했지만 생태계 부족으로 시장에서 실패한 솔루션들로 가득합니다.

흥미롭게도, 중국 경쟁사들 역시 대안적인 접근 방식에 의존하고 있습니다. 6,710억 개의 매개변수를 가진 오픈소스 모델인 DeepSeek V3는 토큰당 370억 개의 매개변수만 활성화되는 혼합 전문가 아키텍처를 사용합니다. 이 모델은 벤치마크에서 서구 경쟁사들과 비슷한 성능을 달성했지만, 훈련 비용은 훨씬 적었습니다. 훈련 시간은 H800 GPU 기준으로 278만 8천 시간에 불과하여, 다른 경쟁 모델들보다 훨씬 짧았습니다.

이러한 발전은 기술 리더십이 반드시 재정적으로 가장 강력한 기업에만 있는 것은 아니라는 점을 보여줍니다. 현명한 아키텍처 결정과 최적화는 자원 우위를 보완할 수 있습니다. 글로벌 AI 환경에서 이는 다극화의 심화를 의미합니다. 중국, 유럽, 그리고 다른 지역들은 단순히 서구 모델을 모방하는 것이 아닌, 독자적인 접근 방식을 개발하고 있습니다.

재평가와 피할 수 없는 숙취

이러한 모든 요소들의 융합은 AI 산업에 대한 재평가가 임박했음을 시사합니다. 현재 가치 평가는 모델 성능과 상업적 도입 모두에서 지속적인 기하급수적 성장을 가정하고 있습니다. 하지만 두 가정 모두 점점 더 의문시되고 있습니다. 모델 성능은 정체된 반면 비용은 계속해서 급등하고 있습니다. 상업적 도입은 증가하고 있지만, 수익 창출은 여전히 ​​어려운 과제로 남아 있습니다.

5천억 달러의 기업 가치를 지닌 OpenAI는 향후 몇 년 안에 연 매출 1,000억 달러 이상으로 성장하고 수익을 창출해야 기업 가치를 정당화할 수 있습니다. 이는 단 몇 년 만에 10배의 성장을 의미합니다. 반면 구글은 매출 100억 달러에서 1,000억 달러로 성장하는 데 10년 이상이 걸렸습니다. AI 기업에 대한 기대치는 비현실적으로 높습니다.

분석가들은 AI 버블 붕괴 가능성을 경고하고 있습니다. 닷컴 버블과의 유사성은 명백합니다. 당시에도, 지금도, 엄청난 잠재력을 지닌 혁신적인 기술이 존재합니다. 당시에도, 지금도, 비이성적으로 부풀려진 기업 가치 평가와 순환 자금 조달 구조가 존재합니다. 당시에도, 투자자들은 기술이 모든 것을 바꿀 것이며 전통적인 가치 평가 지표는 더 이상 유효하지 않다고 주장하며 터무니없는 기업 가치 평가를 정당화합니다.

중요한 차이점은 다음과 같습니다. 많은 닷컴 기업들과 달리 오늘날의 AI 기업들은 실질적인 가치를 지닌 실제 제품을 보유하고 있습니다. ChatGPT는 허황된 제품이 아니라 매일 수백만 명의 사람들이 사용하는 기술입니다. 문제는 AI가 가치가 있느냐가 아니라, 현재 가치를 정당화할 만큼 가치가 있느냐는 것입니다. 답은 아마도 '아니오'일 것입니다.

재평가가 이루어지면 고통스러울 것입니다. 벤처 캐피털 펀드는 자본금의 70%를 AI에 투자했습니다. 연기금과 기관 투자자들은 막대한 위험에 노출되어 있습니다. AI 가치 평가가 크게 하락하면 재정적으로 광범위한 영향을 미칠 것입니다. 저렴한 자금 조달에 의존하는 기업들은 갑자기 자금 조달에 어려움을 겪을 것입니다. 프로젝트는 중단되고 직원들은 해고될 것입니다.

장기적인 관점과 앞으로의 방향

이처럼 암울한 단기 전망에도 불구하고, 인공지능의 장기적인 잠재력은 여전히 ​​막대합니다. 현재의 과대광고는 이 기술의 근본적인 중요성을 바꾸지 않습니다. 중요한 것은 AI가 과연 그 약속을 실현할 수 있을지 여부가 아니라, 어떻게 그리고 언제 실현할 수 있을지입니다. 르쿤의 단기 제품 개발에서 장기적인 기초 연구로의 전환은 그 방향을 제시합니다.

차세대 AI 시스템은 오늘날의 LLM과는 다른 모습을 보일 가능성이 높습니다. 세계 모델, 대안적 아키텍처, 그리고 새로운 학습 패러다임의 요소들을 결합할 것입니다. 무차별 대입 스케일링보다는 효율적이고 구조화된 표현에 더 의존할 것입니다. 텍스트뿐 아니라 물리적 세계에서도 학습할 것이며, 상관관계뿐 아니라 인과관계도 이해할 것입니다.

하지만 이러한 비전을 실현하려면 시간, 인내, 그리고 기초 연구를 수행할 수 있는 자유가 필요합니다. 현재 시장 환경에서는 이러한 조건을 찾기가 매우 어렵습니다. 빠른 상업적 성공을 달성해야 한다는 압박감이 엄청납니다. 분기별 보고서와 평가가 주요 의제입니다. 결과를 내는 데 수년이 걸릴 수 있는 장기 연구 프로그램은 정당화하기 어렵습니다.

65세에 스타트업을 설립하기로 한 르쿤의 결정은 주목할 만한 발언입니다. 그는 모든 영예와 역사에 길이 남을 만한 자리를 보장받고 은퇴할 수도 있었습니다. 하지만 그는 업계 주류에서 거부당한 비전을 추구하는 험난한 길을 선택했습니다. 메타는 파트너로 남을 것이며, 이는 그의 회사가 적어도 초기에는 충분한 자원을 확보할 수 있다는 것을 의미합니다. 하지만 진정한 성공은 그가 앞으로 몇 년 안에 고급 머신 인텔리전스가 실제로 우수함을 입증할 수 있느냐에 달려 있습니다.

이러한 변화는 수년이 걸릴 것입니다. 르쿤의 주장이 옳고 세계 모델이 근본적으로 우수하다고 하더라도, 여전히 개발, 최적화, 그리고 산업화의 과정이 필요합니다. 생태계를 구축해야 합니다. 개발자들은 새로운 도구의 사용법을 익혀야 하고, 기업들은 LLM에서 새로운 시스템으로 이전해야 합니다. 이러한 전환 단계는 역사적으로 항상 고통스러웠습니다.

과대광고에서 현실로: AI의 장기적 행동 방향

얀 르쿤의 메타 이탈은 단순한 인사 이동을 넘어, 과학적 비전과 상업적 실용주의, 장기적 혁신과 단기적 시장 수요 사이의 근본적인 갈등을 상징합니다. 현재 AI 혁명은 전환점에 서 있습니다. 확장을 통해 쉽게 얻을 수 있었던 성공은 이미 소진되었습니다. 다음 단계는 더욱 어렵고, 비용이 많이 들고, 불확실할 것입니다.

투자자들에게 이는 현재 AI 강자들의 과도한 기업 가치를 비판적으로 검토해야 함을 의미합니다. 기업들에게는 AI를 통한 신속한 생산성 향상에 대한 기대가 실망스러울 수 있음을 의미합니다. 사회에 있어서는 이러한 변화가 과대광고가 시사하는 것보다 더 느리고 불균등할 것임을 의미합니다.

동시에, 기반은 여전히 ​​견고합니다. AI는 일시적인 유행이 아니라 장기적으로 경제의 거의 모든 부문을 혁신할 근본적인 기술입니다. 산업 혁명과의 유사점은 적절합니다. 당시와 마찬가지로 승자와 패자, 과잉과 수정, 격변과 조정이 있을 것입니다. 문제는 변압기 아키텍처가 그 역량의 한계에 도달했는지 여부가 아니라, 다음 단계가 어떤 모습일지, 그리고 누가 그것을 만들어갈 것인가입니다.

르쿤의 첨단 기계 지능과 세계 모델에 대한 투자는 대담하지만, 장기적인 안목을 가진 투자로 평가될 수도 있습니다. 5년 후에는 주류에서 벗어난 것이 옳은 결정이었는지, 아니면 업계가 기존 방식을 고수해 왔는지 알게 될 것입니다. 앞으로의 몇 년은 인공지능의 장기적인 발전, 나아가 경제 및 사회의 미래에 매우 중요한 시기가 될 것입니다.

사업 개발, 영업 및 마케팅 분야의 미국 전문성 - 이미지: Xpert.Digital

산업 초점: B2B, 디지털화(AI에서 XR까지), 기계 공학, 물류, 재생 에너지 및 산업

자세한 내용은 여기를 참조하세요.

• 엑스퍼트 비즈니스 허브

통찰력과 전문성을 갖춘 주제 허브:

• 글로벌 및 지역 경제, 혁신 및 산업별 동향에 대한 지식 플랫폼
• 우리의 관심 분야에서 분석, 충동 및 배경 정보 수집
• 비즈니스 및 기술 분야의 최신 동향에 대한 전문 지식과 정보를 제공하는 공간입니다.
• 시장, 디지털화 및 산업 혁신에 대해 배우고자 하는 기업을 위한 주제 허브

✔️ 우리의 비즈니스 언어는 영어 또는 독일어입니다.

✔️ 새로운 기능: 자국어로 된 통신!

Konrad Wolfenstein

나는 귀하와 우리 팀에 개인 고문으로 봉사하게 되어 기쁘게 생각합니다.

문의 양식을 작성하여 연락하시거나 +49 89 89 674 804 (뮌헨) 로 전화해 주세요 . 내 이메일 주소는: Wolfenstein ∂ xpert.digital

나는 우리의 공동 프로젝트를 기대하고 있습니다.

✓ 전략, 컨설팅, 계획 및 구현에 대한 중소기업 지원

✔️ 디지털 전략 및 디지털화의 생성 또는 재편성

✔️ 해외 영업 프로세스의 확장 및 최적화

✔️ 글로벌 및 디지털 B2B 거래 플랫폼

✔️ 선구적인 사업 개발 / 마케팅 / 홍보 / 무역 박람회

Xpert.Digital의 포괄적인 서비스 패키지에서 5가지 전문 지식을 활용해 보세요 | R&D, XR, PR 및 디지털 가시성 최적화 - 이미지: Xpert.Digital

Xpert.Digital은 다양한 산업에 대한 심층적인 지식을 보유하고 있습니다. 이를 통해 우리는 귀하의 특정 시장 부문의 요구 사항과 과제에 정확하게 맞춰진 맞춤형 전략을 개발할 수 있습니다. 지속적으로 시장 동향을 분석하고 업계 발전을 따라가면서 우리는 통찰력을 가지고 행동하고 혁신적인 솔루션을 제공할 수 있습니다. 경험과 지식의 결합을 통해 우리는 부가가치를 창출하고 고객에게 결정적인 경쟁 우위를 제공합니다.

자세한 내용은 여기를 참조하세요.

• 월 €500부터 시작하는 하나의 패키지로 Xpert.Digital의 5배 전문 지식을 활용하세요