게시일: 2025년 5월 19일 / 업데이트일: 2025년 5월 19일 – 저자: Konrad Wolfenstein
인공지능이 뇌처럼 학습하는 방법: 시간이 지남에 따라 학습하는 AI 시스템을 위한 새로운 접근 방식 – 사카나 AI 및 지속적 사고 머신 – 이미지: Xpert.Digital
인간 사고의 재정의: 사카나 AI의 혁신적인 CTM
머신 씽킹 2.0: CTM이 중요한 이정표인 이유
일본 스타트업 사카나 AI가 개발한 새로운 ‘연속 사고 머신(CTM)’은 신경 활동의 시간적 역동성을 기계적 사고의 핵심 메커니즘으로 삼아 AI 연구에 패러다임 전환을 가져왔습니다. 정보를 한 번에 처리하는 기존 AI 모델과 달리, CTM은 인간 두뇌의 작동 방식과 더욱 유사한 다단계 사고 과정을 시뮬레이션합니다.
적합:
시간 기반 사고의 혁명
GPT-4나 Llama 3와 같은 기존 AI 모델은 입력이 들어오면 출력이 나오는 순차적인 방식으로 작동하는 반면, CTM은 이러한 원칙을 탈피합니다. 이 시스템은 소위 "틱" 또는 이산적인 시간 단계라고 불리는 내부 시간 개념을 사용하여 작동하며, 이를 통해 모델의 내부 상태는 점진적으로 진화합니다. 이러한 접근 방식은 반복적인 적응을 가능하게 하고 단순한 반응이 아닌 자연스러운 사고 과정에 더 가까운 프로세스를 만들어냅니다.
사카나 AI는 "CTM은 데이터 입력과 분리된 '내부 틱'이라는 내부 시간 개념을 사용합니다."라고 설명합니다. "이를 통해 모델은 작업을 해결할 때 한 번에 즉시 결정을 내리는 대신 여러 단계를 거쳐 '사고'할 수 있습니다."
이 접근 방식의 핵심은 신경 동기화를 기본적인 표현 메커니즘으로 활용하는 데 있습니다. 사카나 AI는 뉴런 간의 시간적 조정이 중요한 역할을 하는 생물학적 뇌의 작동 방식에서 영감을 얻었습니다. 이러한 생물학적 영감은 단순한 비유를 넘어 AI 개발 철학의 토대를 형성합니다.
뉴런 수준 모델: 기술적 기초
CTM은 "뉴런 수준 모델(NLM)"이라고 알려진 복잡한 신경망 구조를 도입합니다. 각 뉴런은 고유한 가중치 매개변수를 가지며 과거 활성화 이력을 추적합니다. 이러한 이력은 시간이 지남에 따라 뉴런의 동작에 영향을 미쳐 기존의 인공 신경망보다 더욱 동적인 처리를 가능하게 합니다.
사고 과정은 여러 내부 단계를 거쳐 전개됩니다. 먼저, "시냅스 모델"이 현재 뉴런 상태와 외부 입력 데이터를 처리하여 초기 신호, 즉 사전 활성화를 생성합니다. 그 후, 개별 "뉴런 모델"은 이러한 신호의 이력을 활용하여 다음 상태를 계산합니다.
뉴런의 상태는 시간에 따라 기록되어 뉴런 간의 동기화 강도를 분석합니다. 이러한 동기화는 모델의 핵심적인 내부 표현을 형성합니다. 추가적인 주의 메커니즘을 통해 시스템은 입력 데이터 중 관련성이 높은 부분을 선택적으로 처리할 수 있습니다.
성능 및 실용 테스트
사카나 AI는 일련의 실험을 통해 CTM의 성능을 기존 아키텍처와 비교했습니다. 그 결과, 다양한 응용 분야에서 유망한 진전을 보였습니다.
이미지 분류 및 시각 처리
널리 알려진 ImageNet 1K 데이터셋에서 CTM은 Top 1 정확도 72.47%, Top 5 정확도 89.89%를 달성했습니다. 이러한 수치는 오늘날의 기준으로 최고 수준은 아니지만, Sakana AI는 이것이 프로젝트의 주요 목표가 아니라고 강조합니다. 특히, ImageNet 분류에 신경 역학을 표현 방식으로 활용한 최초의 시도라는 점은 주목할 만합니다.
CIFAR-10 데이터셋을 사용한 테스트에서 CTM은 기존 모델보다 약간 더 나은 성능을 보였으며, 예측 결과가 인간의 의사결정과 더 유사했습니다. CIFAR-10H 데이터셋에서 CTM은 0.15의 보정 오차를 달성하여 인간(0.22)과 LSTM(0.28)을 모두 능가했습니다.
복잡한 문제 해결
길이가 64인 패리티 작업에서 CTM은 75클럭 사이클 이상 만에 100%라는 놀라운 정확도를 달성한 반면, LSTM은 최대 10클럭 사이클 내에서 60% 미만의 정확도에 머물렀습니다. 미로 실험에서 이 모델은 단계별 경로 계획과 유사한 동작을 보였으며, 성공률은 80%에 달했습니다. 이는 LSTM의 45%, 피드포워드 네트워크의 20%보다 훨씬 높은 수치입니다.
특히 흥미로운 점은 모델이 처리 깊이를 동적으로 조절할 수 있다는 것입니다. 간단한 작업에는 더 빨리 처리를 중단하고, 복잡한 작업에는 더 오랜 시간을 계산합니다. 이는 추가적인 손실 함수 없이 작동하며, 아키텍처 자체의 고유한 특징입니다.
해석 가능성과 투명성
CTM의 핵심 특징은 해석 가능성이라는 점입니다. 이미지 처리 과정에서 어텐션 헤드는 관련 특징들을 체계적으로 스캔하여 모델의 "사고 과정"에 대한 통찰력을 제공합니다. 미로 실험에서 이 시스템은 경로를 단계별로 계획하는 것과 유사한 행동을 보였는데, 개발자들에 따르면 이러한 행동은 명시적으로 프로그래밍된 것이 아니라 자연스럽게 나타나는 현상입니다.
사카나 AI는 CTM 시스템이 브라우저 내에서 최대 150단계 만에 미로를 탈출하는 인터랙티브 데모를 제공합니다. 이러한 투명성은 의사 결정 과정이 종종 "블랙박스"처럼 보이는 많은 최신 AI 시스템에 비해 상당한 장점입니다.
적합:
도전과 한계
고무적인 결과에도 불구하고 CTM은 여전히 상당한 어려움에 직면해 있습니다.
- 계산 노력: 각 내부 클록 사이클마다 완전한 순방향 패스가 필요하므로 LSTM에 비해 학습 비용이 약 3배 증가합니다.
- 확장성: 현재 구현에서는 최대 1,000개의 뉴런을 처리할 수 있으며, 트랜스포머 크기(10억 개 이상의 매개변수)로의 확장은 아직 테스트되지 않았습니다.
- 적용 분야: CTM은 특정 테스트에서 좋은 결과를 보여주지만, 이러한 장점이 광범위한 실제 적용 분야에서도 통용될지는 아직 미지수입니다.
연구진은 또한 다양한 모델 크기를 사용하여 실험을 진행했으며, 뉴런 수가 많을수록 활동 패턴이 더 다양해지지만 결과가 자동으로 향상되지는 않는다는 것을 발견했습니다. 이는 모델 아키텍처, 크기 및 성능 간의 복잡한 관계를 시사합니다.
Sakana AI: 인공 지능에 대한 새로운 접근 방식
사카나 AI는 인공지능 분야의 선구자인 데이비드 하와 라이언 존스(두 사람 모두 구글 연구원 출신)와 렌 이토(전 메르카리 직원 및 일본 외무성 공무원)가 2023년 7월에 설립했습니다. 이 회사는 기존의 많은 AI 개발업체와는 근본적으로 다른 접근 방식을 취하고 있습니다.
기존의 대규모 자원 집약적 AI 모델 개발 방식 대신, 사카나 AI는 자연, 특히 물고기 떼나 새 떼의 집단 지능에서 영감을 얻습니다. ChatGPT와 같은 대규모 고성능 모델을 개발하는 오픈AI와 같은 회사와는 달리, 사카나 AI는 효율적으로 협력하는 소규모 AI 모델들을 활용하는 분산형 접근 방식을 채택하고 있습니다.
이러한 철학은 CTM에도 반영되어 있습니다. 사카나 AI는 단순히 더 많은 매개변수를 가진 더 큰 모델을 구축하는 대신, AI 시스템이 정보를 처리하는 방식을 근본적으로 바꿀 수 있는 핵심적인 아키텍처 혁신에 집중합니다.
인공지능 개발의 패러다임 전환인가?
연속 사고 기계는 인공지능 개발에 있어 중요한 진전을 의미할 수 있습니다. 사카나 AI는 인공 신경망의 핵심 요소로 시간적 역동성을 재도입함으로써 인공지능 연구를 위한 도구와 개념의 범위를 확장합니다.
CTM의 생물학적 영감, 해석 가능성 및 적응형 계산 심도는 복잡한 추론 및 문제 해결이 필요한 응용 분야에서 특히 유용할 수 있습니다. 나아가, 이러한 접근 방식은 더 적은 계산 자원을 필요로 하는 더욱 효율적인 AI 시스템으로 이어질 수 있습니다.
CTM이 진정한 혁신을 의미하는지는 아직 미지수입니다. 가장 큰 과제는 실험실 테스트에서 얻은 유망한 결과를 실제 응용 분야로 옮기고, 해당 아키텍처를 더 큰 모델에 적용하는 것입니다.
어쨌든 CTM은 대담하고 혁신적인 접근 방식을 보여주며, 현재 AI 시스템의 놀라운 성공에도 불구하고 인공 신경망 아키텍처에 근본적인 혁신의 여지가 여전히 크다는 것을 입증합니다. 사카나 AI의 연속 사고 머신(CTM)은 우리가 진정으로 인간과 같은 인공지능을 개발하기 위한 긴 여정의 시작점에 서 있을지도 모른다는 사실을 일깨워줍니다.
적합:
AI 변환, AI 통합 및 AI 플랫폼 산업 전문가
✔️ 우리의 비즈니스 언어는 영어 또는 독일어입니다.
✔️ 새로운 기능: 자국어로 된 통신!
Konrad Wolfenstein
나는 귀하와 우리 팀에 개인 고문으로 봉사하게 되어 기쁘게 생각합니다.
문의 양식을 작성하여 연락하시거나 +49 89 89 674 804 (뮌헨) 로 전화해 주세요 . 내 이메일 주소는: Wolfenstein ∂ xpert.digital
나는 우리의 공동 프로젝트를 기대하고 있습니다.
