게시 : 2025 년 5 월 19 일 / 업데이트 : 2025 년 5 월 19 일 - 저자 : Konrad Wolfenstein
이것은 AI가 뇌처럼 배우는 방식입니다 : Time-Sakana AI와 연속적인 기계 이미지를 가진 AI 시스템에 대한 새로운 접근법을 배우는 것 : Xpert.Digital
인간 사고 새로운 : Sakana ai의 혁신적인 CTM
기계 사고 2.0 : CTM이 이정표 인 이유
일본 스타트 업 Sakana AI의 새로운“Continuous Thought Machine”(CTM)은 기계 사고의 중심 메커니즘으로서 뉴런 활동의 시간 역학을 확립함으로써 AI 연구의 패러다임 전환을 나타냅니다. 한 라운드에서 정보를 처리하는 기존의 AI 모델과 달리 CTM은 인간 뇌의 기능을 기반으로하는 다단계 사고 과정을 시뮬레이션합니다.
적합:
시간 기반 사고의 혁명
GPT-4 또는 LLAMA 3 작업과 같은 전통적인 AI 모델이 순차적으로 입력되는 반면, 출력은이 원칙과 함께 CTM 외부로 끊어집니다. 이 시스템은 내부 시간 개념으로 작동하므로 모델의 내부 조건이 점차적으로 개발되는 "진드기"또는 개별 타이밍을 제공합니다. 이 접근법은 반복 적응을 가능하게하고 단순한 반응보다 자연적인 사고 과정과 같은 프로세스를 만듭니다.
Sakana AI는“CTM은 내부 시간 개념, 데이터 입력에 의해 분리 된 So -Called 'Internal Ticks'와 함께 작동합니다. "이를 통해 모델은 즉시 한 번의 실행에서 결정을 내리는 대신 작업을 해결할 때 여러 단계를 '생각'할 수 있습니다."
이 접근법의 핵심은 기본 표현 메커니즘으로서 뉴런 동기화를 사용하는 데 있습니다. Sakana AI는 생물학적 뇌의 기능에서 영감을 얻었으며, 이는 뉴런 사이의 시간 조정이 중요한 역할을합니다. 이 생물학적 영감은 단순한 은유를 넘어 AI 개발 철학의 기초를 형성합니다.
뉴런 수준 모델 : 기술 기초
CTM은 복잡한 신경 구조를 소개하며,이 건축은 "뉴런 수준 모델"(NLM)이라고합니다. 각 뉴런에는 자체 체중 매개 변수가 있으며 과거 활성화 이력을 추구합니다. 이러한 역사적은 시간에 대한 뉴런의 행동에 영향을 미치고 기존의 인공 뉴런 네트워크보다 더 역동적 인 처리를 가능하게합니다.
사고 과정은 몇 가지 내부 단계에서 실행됩니다. 먼저, "Synapse Model"은 현재 뉴런 상태와 외부 입력 데이터를 처리하여 소위 사전 활성화의 첫 번째 신호를 만듭니다. 그 후, 개별 "뉴런 모델"은 이러한 신호의 역사를 사용하여 다음 상태를 계산합니다.
신경 상태는 시간이 지남에 따라 기록되어 뉴런 사이의 동기화 강도를 분석합니다. 이 동기화는 모델의 중앙 내부 표현을 형성합니다. 추가주의 메커니즘을 통해 시스템은 입력 데이터의 관련 부분을 선택하고 처리 할 수 있습니다.
성능 및 실제 테스트
여러 실험에서 Sakana AI는 CTM의 성능을 확립 된 아키텍처와 비교했습니다. 결과는 다양한 응용 분야에서 유망한 진보를 보여줍니다.
그림 분류 및 시각 솜씨
잘 알려진 ImageNet-1K 데이터 세트에서 CTM은 72.47%의 상위 1 상 정확도와 89.89%의 상위 5 가지 정확도를 달성합니다. 오늘날의 표준에 대한 이러한 값은 최고 가치를 나타내지 않지만 Sakana AI는 이것이 프로젝트의 주요 목표가 아니라고 강조합니다. 이것은 신경 역학을 Imagenet 분류의 표현 형태로 사용하려는 첫 번째 시도라는 점에 주목할 만하다.
CIFAR 10 데이터 세트를 사용한 테스트에서 CTM은 기존 모델보다 약간 우수하며 예측은 인간의 의사 결정 행동과 더 유사합니다. CIFAR-10H에서, CTM은 캘리브레이션 오차를 0.15로 달성하므로 인간 (0.22)과 LSTM (0.28)을 초과합니다.
복잡한 문제 해결
길이가 64 인 패리티 작업의 경우 CTM은 75 개 이상의 막대에서 100%의 인상적인 정확도를 달성하는 반면, LSTM은 60% 미만의 최대 10 개의 유효 막대가 붙어 있습니다. 미로 실험 에서이 모델은 LSTM의 45%, 피드 포워드 네트워크의 20%에 비해 80%의 성공률로 경로의 점진적인 계획과 유사한 행동을 보여주었습니다.
모델의 모델은 특히 처리 깊이를 동적으로 조정하는 데 흥미 롭습니다. 간단한 작업의 경우 일찍 중지되며 더 복잡한 IT는 더 오래 계산합니다. 이것은 추가 손실 기능없이 작동하며 고유 한 아키텍처 속성입니다.
해석 성과 투명성
CTM의 뛰어난 특징은 해석 성입니다. 이미지 처리 중에주의 헤드는 체계적으로 관련된 기능을 스캔하여 모델의 "사고 프로세스"에 대한 통찰력을 얻을 수 있습니다. Labyrinth 실험에서, 시스템은 개발자에 따르면, 개발자에 따르면, 출현하고 명시 적으로 프로그래밍되지 않은 Route-A 행동의 점진적인 계획과 유사한 행동을 보여 주었다.
Sakana AI는 심지어 브라우저의 CTM 시스템이 최대 150 단계의 미로에서 벗어날 수있는 대화식 데모를 제공합니다. 이 투명성은 많은 현대 AI 시스템에 비해 중요한 이점이며, 의사 결정 과정은 종종 "블랙 박스"로 인식됩니다.
적합:
도전과 한계
유망한 결과에도 불구하고 CTM은 여전히 상당한 과제에 직면 해 있습니다.
- 컴퓨팅 노력 : 모든 내부 시계에는 완전한 포워드 런이 필요하므로 LSTM에 비해 교육 비용이 약 3 배 증가합니다.
- 확장 성 : 현재 구현은 최대 1,000 개의 뉴런을 처리하며 변압기 크기 (≥10 억 파라미터)에 대한 스케일링은 아직 테스트되지 않았습니다.
- 응용 분야 : CTM은 특정 테스트에서 좋은 결과를 보여 주지만, 이러한 장점이 광범위한 실제 응용 분야에서도 사용되는지 여부는 여전히 남아 있습니다.
연구원들은 또한 다른 모델 크기를 실험했으며 더 많은 뉴런이 더 다양한 활동 패턴을 초래했지만 결과를 자동으로 개선하지는 않았다는 것을 발견했습니다. 이는 모델 아키텍처, 크기 및 성능 간의 복잡한 관계를 나타냅니다.
Sakana AI : 인공 지능에 대한 새로운 접근
Sakana AI는 2023 년 7 월 AI Visionary David Ha와 Llion Jones에 의해 전 Google 연구원 모두 Mercari의 전 직원 인 Ren Ito와 일본 외무부 관리들과 함께 설립되었습니다. 이 회사는 많은 설립 된 AI 개발자보다 근본적인 접근 방식을 추구합니다.
Sakana AI는 기존의 경로를 더 거대하고 자원 집약적 인 AI 모델을 걷는 대신 자연에서, 특히 어류 떼와 새의 떼의 집단 지능에서 영감을받습니다. Sakana AI는 Chatgpt와 같은 광범위하고 강력한 모델을 개발하는 Openaai와 같은 회사와 달리 효율적으로 함께 작동하는 더 작고 협력적인 AI 모델을 사용하여 분산 된 접근 방식에 의존합니다.
이 철학은 CTM에도 반영됩니다. Sakana AI는 더 많은 매개 변수로 더 큰 모델을 구축하는 대신 AI 시스템이 정보를 처리 할 수있는 방식을 근본적으로 변화시킬 수있는 기본 아키텍처 혁신에 중점을 둡니다.
AI 개발의 패러다임 전환?
지속적인 사고 기계는 AI 개발의 중요한 단계를 표시 할 수 있습니다. Sakana AI는 인공 신경 네트워크의 중심 요소로서 시간 역학을 재 도입함으로써 AI 연구를위한 도구 및 개념의 레퍼토리를 확장합니다.
CTM의 생물학적 영감, 해석 가능성 및 적응성 계산 깊이는 복잡한 결론과 문제 해결이 필요한 응용 분야에서 특히 가치가있을 수 있습니다. 또한,이 접근법은 컴퓨팅 리소스가 적을 수있는보다 효율적인 AI 시스템으로 이어질 수 있습니다.
CTM이 실제로 돌파구를 나타내는 지 여부는 여전히 남아 있습니다. 가장 큰 과제는 실험실 테스트의 유망한 결과를 실제 응용 프로그램으로 변환하고 아키텍처를 더 큰 모델로 확장하는 것입니다.
이에 관계없이 CTM은 현재 AI 시스템의 인상적인 성공에도 불구하고 인공 신경 네트워크의 아키텍처에 근본적인 혁신을위한 많은 공간이 있음을 보여주는 용감하고 혁신적인 접근법을 나타냅니다. Sakana AIS Continuous Thought Machine은 우리가 실제로 인간과 같은 인공 지능을 발전시키기위한 긴 여행의 시작 부분에있을 수 있음을 상기시킵니다.
적합:
AI 변환, AI 통합 및 AI 플랫폼 산업 전문가
✔️ 우리의 비즈니스 언어는 영어 또는 독일어입니다.
✔️ 새로운 기능: 자국어로 된 통신!
콘라드 울펜슈타인
나는 귀하와 우리 팀에 개인 고문으로 봉사하게 되어 기쁘게 생각합니다.
문의 양식을 작성하여 연락하시거나 +49 89 89 674 804 (뮌헨) 로 전화해 주세요 . 내 이메일 주소는: Wolfenstein ∂ xpert.digital
나는 우리의 공동 프로젝트를 기대하고 있습니다.
