Опубликовано: 19 мая 2025 г. / Обновлено: 19 мая 2025 г. – Автор: Konrad Wolfenstein
Как ИИ учится подобно мозгу: новый подход к обучению систем ИИ с течением времени – Sakana AI и Continuous Thought Machine – Изображение: Xpert.Digital
Переосмысление человеческого мышления: инновационная технология CTM от Sakana AI
Машинное мышление 2.0: почему CTM — это важный этап
Новая «машина непрерывного мышления» (CTM) от японского стартапа Sakana AI знаменует собой сдвиг парадигмы в исследованиях в области искусственного интеллекта, устанавливая временную динамику нейронной активности в качестве центрального механизма машинного мышления. В отличие от традиционных моделей ИИ, которые обрабатывают информацию за один проход, CTM имитирует многоэтапный мыслительный процесс, который более точно соответствует работе человеческого мозга.
В связи с этим:
Революция мышления, основанного на времени
В то время как традиционные модели ИИ, такие как GPT-4 или Llama 3, работают последовательно — входные данные поступают, выходные данные выходят — CTM отходит от этого принципа. Система работает с внутренней концепцией времени, так называемыми «тиками» или дискретными временными шагами, в течение которых внутреннее состояние модели постепенно развивается. Такой подход обеспечивает итеративную адаптацию и создает процесс, который больше напоминает естественный мыслительный процесс, чем простую реакцию.
«Модель CTM работает с внутренней концепцией времени, так называемыми «внутренними тиками», которые не связаны с входными данными», — объясняет Sakana AI. «Это позволяет модели «продумывать» несколько шагов при решении задач, вместо того чтобы принимать решение сразу за один проход»
В основе этого подхода лежит использование нейронной синхронизации в качестве фундаментального механизма представления. Компания Sakana AI черпала вдохновение из работы биологического мозга, где временная координация между нейронами играет решающую роль. Это биологическое вдохновение выходит за рамки простой метафоры и составляет основу философии разработки искусственного интеллекта.
Нейронные модели: технические основы
В модели CTM используется сложная нейронная архитектура, известная как «модели на уровне нейронов» (NLM). Каждый нейрон имеет свои собственные весовые параметры и отслеживает историю прошлых активаций. Эта история влияет на поведение нейронов с течением времени, обеспечивая более динамичную обработку, чем традиционные искусственные нейронные сети.
Процесс мышления разворачивается в несколько внутренних этапов. Сначала «синаптическая модель» обрабатывает текущие состояния нейронов, а также внешние входные данные для генерации начальных сигналов — так называемых преактиваций. Затем отдельные «модели нейронов» обращаются к истории этих сигналов для расчета своих следующих состояний.
Состояния нейронов регистрируются во времени для анализа силы синхронизации между нейронами. Эта синхронизация формирует центральное внутреннее представление модели. Дополнительный механизм внимания позволяет системе избирательно выбирать и обрабатывать релевантные части входных данных.
Эксплуатационные и практические испытания
В серии экспериментов компания Sakana AI сравнила производительность CTM с уже существующими архитектурами. Результаты показывают многообещающий прогресс в различных областях применения:
Классификация изображений и визуальная обработка
На известном наборе данных ImageNet 1K метод CTM достигает точности Top 1 в 72,47% и точности Top 5 в 89,89%. Хотя эти значения не являются лучшими по современным стандартам, Sakana AI подчеркивает, что это не является основной целью проекта. Примечательно, что это первая попытка использовать нейронную динамику в качестве представления для классификации ImageNet.
В тестах с использованием набора данных CIFAR-10 модель CTM также показала несколько лучшие результаты, чем традиционные модели, поскольку ее прогнозы были более близки к принятию решений человеком. На наборе данных CIFAR-10H модель CTM достигла ошибки калибровки всего 0,15, превзойдя как людей (0,22), так и модели LSTM (0,28).
Решение сложных проблем
В задачах на проверку четности длиной 64 байта CTM достигает впечатляющей 100% точности при более чем 75 тактовых циклах, в то время как LSTM застревают на уровне менее 60% точности при максимальном количестве эффективных тактовых циклов в 10. В эксперименте с лабиринтом модель продемонстрировала поведение, аналогичное пошаговому планированию маршрута, с показателем успешности 80%, по сравнению с 45% для LSTM и только 20% для нейронных сетей прямого распространения.
Особый интерес представляет способность модели динамически регулировать глубину обработки: она останавливается раньше для простых задач и вычисляет больше времени для более сложных. Это работает без дополнительных функций с потерями и является неотъемлемой особенностью архитектуры.
Интерпретируемость и прозрачность
Ключевой особенностью CTM является ее интерпретируемость. В процессе обработки изображений центры внимания систематически сканируют релевантные признаки, предоставляя представление о «мыслительном процессе» модели. В экспериментах с лабиринтами система демонстрировала поведение, похожее на пошаговое планирование маршрута — поведение, которое, по словам разработчиков, является спонтанным и не запрограммированным явным образом.
Sakana AI даже предлагает интерактивную демонстрацию, в которой система CTM находит выход из лабиринта за 150 шагов прямо в браузере. Такая прозрачность является существенным преимуществом перед многими современными системами ИИ, процесс принятия решений в которых часто воспринимается как «черный ящик».
В связи с этим:
Проблемы и ограничения
Несмотря на многообещающие результаты, CTM по-прежнему сталкивается со значительными проблемами:
- Вычислительные затраты: Каждый внутренний тактовый цикл требует полного прямого прохода, что увеличивает затраты на обучение примерно в три раза по сравнению с сетями LSTM.
- Масштабируемость: существующие реализации могут обрабатывать максимум 1000 нейронов, а масштабирование до размера трансформера (≥1 миллиард параметров) еще не тестировалось.
- Области применения: Хотя метод CTM демонстрирует хорошие результаты в отдельных тестах, еще предстоит выяснить, найдут ли эти преимущества широкое практическое применение.
Исследователи также экспериментировали с моделями разных размеров и обнаружили, что, хотя большее количество нейронов приводило к более разнообразным паттернам активности, это не обязательно улучшало результаты. Это указывает на сложные взаимосвязи между архитектурой модели, ее размером и производительностью.
Sakana AI: новый подход к искусственному интеллекту
Компания Sakana AI была основана в июле 2023 года визионерами в области искусственного интеллекта Дэвидом Ха и Лайоном Джонсом, бывшими исследователями Google, а также Реном Ито, бывшим сотрудником Mercari и чиновником Министерства иностранных дел Японии. Компания придерживается принципиально иного подхода, чем многие признанные разработчики ИИ.
Вместо традиционного подхода к созданию масштабных, ресурсоемких моделей ИИ, Sakana AI черпает вдохновение в природе, в частности, в коллективном интеллекте стай рыб и птиц. В отличие от таких компаний, как OpenAI, которые разрабатывают большие и мощные модели, например, ChatGPT, Sakana AI использует децентрализованный подход с более мелкими, взаимодействующими моделями ИИ, которые эффективно работают вместе.
Эта философия также отражена в CTM. Вместо простого построения более крупных моделей с большим количеством параметров, Sakana AI фокусируется на фундаментальных архитектурных инновациях, которые могут коренным образом изменить способ обработки информации системами искусственного интеллекта.
Сдвиг парадигмы в разработке ИИ?
«Машина непрерывного мышления» может стать важным шагом в развитии ИИ. Возвращая временную динамику в качестве центрального элемента искусственных нейронных сетей, Sakana AI расширяет репертуар инструментов и концепций для исследований в области ИИ.
Биологическое вдохновение, интерпретируемость и адаптивная вычислительная глубина CTM могут быть особенно ценны в приложениях, требующих сложных рассуждений и решения задач. Кроме того, такой подход может привести к созданию более эффективных систем искусственного интеллекта, требующих меньших вычислительных ресурсов.
Пока еще неизвестно, действительно ли CTM представляет собой прорыв. Самая большая проблема будет заключаться в переносе многообещающих результатов лабораторных испытаний в практические приложения и масштабировании архитектуры до более крупных моделей.
Тем не менее, CTM представляет собой смелый и новаторский подход, демонстрирующий, что, несмотря на впечатляющие успехи современных систем ИИ, в архитектуре искусственных нейронных сетей все еще есть значительный потенциал для фундаментальных инноваций. Continuous Thought Machine от Sakana AI напоминает нам, что мы, возможно, находимся только в начале долгого пути к разработке по-настоящему человекоподобного искусственного интеллекта.
В связи с этим:
Ваш эксперт в области трансформации с помощью ИИ, интеграции ИИ и создания платформ искусственного интеллекта
☑️ Язык ведения нашего бизнеса — английский или немецкий
☑️ НОВИНКА: Переписка на вашем родном языке!
Konrad Wolfenstein
Я и моя команда будем рады быть вашими личными консультантами.
Вы можете связаться со мной, заполнив контактную форму здесь [email protected]:или просто позвонив по номеру +49 7348 4088 965. Мой адрес электронной почты
Я с нетерпением жду начала нашего совместного проекта.
