로봇 및 기타 AI 에이전트를 위한 Meta의 V-JEPA 2 AI 모델 – 우리의 물리적 세계를 이해하는 AI

게시일: 2025년 6월 13일 / 업데이트일: 2025년 6월 13일 – 저자: Konrad Wolfenstein

로봇 및 기타 AI 에이전트를 위한: Meta의 V-JEPA 2 AI 모델 – 우리의 물리적 세계를 이해하는 AI – 이미지: Xpert.Digital

Meta는 V-JEPA 2를 소개합니다: AI 시스템이 물리적 세계에 대한 예측을 학습합니다

Meta는 인공지능의 미래를 위한 혁신적인 AI 세계 모델인 V-JEPA 2를 발표했습니다

Meta는 기존의 그랜드 언어 모델과는 근본적으로 다른 접근 방식을 취하는 획기적인 AI 시스템인 V-JEPA 2를 공개했습니다. 12억 개의 매개변수를 가진 이 세계 모델은 로봇 및 기타 AI 에이전트가 물리적 세계를 이해하고 자신의 행동에 대한 반응을 예측하도록 돕기 위해 개발되었습니다.

V-JEPA 2는 무엇이며, 기존 언어 모델과 어떻게 다른가요?

V-JEPA 2는 "비디오 공동 임베딩 예측 아키텍처 2"의 약자로, 기존 언어 모델과는 완전히 다른 아키텍처를 기반으로 합니다. ChatGPT나 GPT-4와 같은 언어 모델이 텍스트 시퀀스에 대한 확률적 예측을 수행하는 반면, V-JEPA 2는 추상적인 표현 공간에서 작동하며 물리 법칙을 이해하는 데 중점을 둡니다.

결정적인 차이점은 학습 방식에 있습니다. 언어 모델은 대량의 레이블이 지정된 데이터를 필요로 하며 지도 학습을 통해 학습합니다. 반면 V-JEPA 2는 자기 지도 학습을 사용하여 레이블이 지정되지 않은 비디오에서 지식을 추출함으로써 데이터 준비 비용을 크게 줄입니다. 이 모델은 픽셀 단위의 재구성이 아닌 비디오 콘텐츠의 추상적 표현을 통해 학습합니다.

JEPA 아키텍처: 예측을 통한 학습

JEPA(Joint Embedding Predictive Architecture)는 Meta의 최고 AI 과학자인 얀 르쿤(Yann LeCun)이 개발했으며, 생성형 AI 모델의 대안으로 제시됩니다. 모든 누락된 픽셀을 재구성하려는 생성형 접근 방식과 달리, V-JEPA 2는 마스크 처리된 비디오 영역을 사용하여 추상적인 개념을 예측하는 방법을 학습합니다.

이 시스템은 2단계 학습 방식을 사용합니다

1단계: 자기주도 학습

백만 시간 이상의 비디오 자료와 백만 장의 이미지를 활용한 교육
사람의 주석 없이 물리적 상호작용 패턴 학습
물리적 세계에 대한 내적 모델 개발

두 번째 단계: 행동 유도 적응

DROID 데이터셋에서 단 62시간 분량의 로봇 제어 데이터만으로 미세 조정을 수행했습니다
에이전트 행동을 예측 기능에 통합
계획 수립 및 폐루프 제어 활성화

실제 성능에서 탁월한 성과를 보여줍니다

V-JEPA 2는 다양한 분야에서 인상적인 성능을 보여줍니다

영상 이해 및 동작 감지

Something-Something v2 데이터셋에서 77.3%의 Top 1 정확도를 달성했습니다
Epic-Kitchens-100 행동 예측에서 5회 재현율 39.7% (이전 모델 대비 44% 향상)
다양한 비디오 질의응답 작업에서 최첨단 성능

로봇 제어

낯선 환경에서 물건을 집어 옮기는 작업의 성공률은 65~80%입니다
환경별 학습 없이 제로샷 로봇 제어
프랑카 로봇 팔을 두 개의 서로 다른 연구실에 배치

경쟁사 대비 효율성

V-JEPA 2는 NVIDIA의 Cosmos 모델보다 30배 빠르며 로봇 동작 계획에 단 16초밖에 걸리지 않는 반면, Cosmos는 4분이 걸립니다.

기술 혁신 및 주요 특징

이 모델은 다섯 가지 핵심 기술적 혁신을 특징으로 합니다

자기지도 학습: 대량의 레이블링된 데이터가 필요하지 않습니다
마스킹 메커니즘: 숨겨진 비디오 영역을 예측하여 모델을 학습시킵니다
추상적 표현 학습: 픽셀 세부 정보 대신 의미론적 의미에 집중
세계 모델 아키텍처: 물리 법칙에 대한 내적 이해 구축
효율적인 전이 학습: 탁월한 제로샷 학습 능력

새로운 벤치마크 결과는 현재 인공지능의 한계를 드러냅니다

V-JEPA 2와 병행하여 Meta는 AI 시스템의 물리적 이해도를 테스트하는 세 가지 새로운 벤치마크를 발표했습니다

IntPhys 2

이는 물리적으로 타당한 시나리오와 불가능한 시나리오를 구분하는 능력을 테스트합니다. 아무리 정교한 모델이라도 이 점에서는 여전히 무작위성에 가까운 성능을 보입니다.

MVPBench

이 시스템은 동일한 질문에 대한 반대되는 답변을 담은 시각적으로 유사한 비디오 쌍을 사용합니다. V-JEPA 2는 44.5%의 쌍 정확도를 달성하여 테스트된 모든 시스템 중 최고의 성능을 보였습니다.

인과적VQA

본 연구는 인과관계 이해와 반사실적 추론을 조사합니다. 연구 결과에 따르면 현재의 인공지능 시스템은 관찰한 내용을 잘 설명할 수 있지만, 대안적인 결과를 예측하는 데는 어려움을 겪는 것으로 나타났습니다.

데이터 부족에 시달리지 않는 AI: V-JEPA 2가 머신러닝 효율성을 높이는 방법

얀 르쿤은 V-JEPA 2와 같은 세계적인 모델들이 차세대 AI 개발의 핵심이라고 보고 있습니다. 이러한 모델은 다양한 응용 분야에 혁명을 일으킬 수 있습니다

로봇공학 및 가정 도우미

세계 모델은 인공지능 에이전트가 엄청난 양의 훈련 데이터 없이도 실제 작업을 처리할 수 있는 새로운 로봇 공학 시대를 열기 위해 만들어졌습니다.

자율주행 차량

V-JEPA 2의 실시간 공간 이해 능력은 자율 주행 차량, 창고 로봇, 드론 배송 시스템에 매우 중요할 수 있습니다.

증강 현실(AR) 및 가상 비서

Meta는 오디오 분석 및 AR 안경과 가상 비서를 위한 향상된 비디오 이해 기능을 통합하여 V-JEPA 2의 기능을 확장할 계획입니다.

오픈소스 활용 가능성 및 연구 자금 지원

Meta는 전 세계 AI 연구를 촉진하기 위해 V-JEPA 2를 CC-BY-NC 라이선스 하에 오픈 소스로 공개했습니다. 모델 코드는 GitHub에서 확인할 수 있으며 Google Colab, Kaggle 등의 플랫폼에서 실행할 수 있습니다. 이러한 개방성은 다른 많은 대규모 AI 모델과는 대조적이며, 로봇 공학 및 체화된 AI 분야에서 세계 모델 개발을 발전시키는 데 기여하고자 합니다.

인공지능 개발의 패러다임 전환

V-JEPA 2는 순수 언어 처리에서 물리적 세계에 대한 더 깊은 이해로 나아가는 근본적인 패러다임 전환을 의미합니다. 대부분의 AI 기업이 생성형 모델에 의존하는 반면, Meta는 세계 모델 접근 방식을 통해 인공지능의 미래에 대한 대안적 비전을 추구합니다. 최소한의 데이터로 학습하고 제로샷 로봇 제어를 가능하게 하는 이 기술은 현실 세계를 이해할 뿐만 아니라 실제로 행동할 수 있는 차세대 지능형 시스템의 길을 열어줄 수 있습니다.

이와 관련된 내용: