Опубликовано по адресу: 19 мая 2025 г. / Обновление от: 19 мая 2025 г. - Автор: Конрад Вольфенштейн
Вот как ИИ учится как мозг: изучение нового подхода для систем искусственного интеллекта с AI Time-Sakana и непрерывного машинного изображения: xpert.digital
«Человеческое мышление новое: инновационный CTM от Sakana AI
Машина мышления 2.0: почему CTM - веха
Новая «непрерывная мыслительная машина» (CTM) японского стартапа Sakana AI отмечает сдвиг парадигмы в исследованиях искусственного интеллекта, установив динамику времени нейрональной активности как центральный механизм для машинного мышления. В отличие от обычных моделей ИИ, которые обрабатывают информацию в одном раунде, CTM имитирует многоэтапный процесс мышления, который больше основан на функционировании человеческого мозга.
Подходит для:
Революция на основе времени мышления
В то время как традиционные модели искусственного интеллекта, такие как GPT-4 или Llama 3, работают последовательно, вводится вход, вывод выходит на CTM с этим принципом. Система работает с внутренней концепцией времени, так называемых «клещей» или дискретного времени, через которое постепенно развивается внутреннее состояние модели. Этот подход обеспечивает итеративную адаптацию и создает процесс, который больше похож на естественный процесс мышления, чем на простую реакцию.
«CTM работает с внутренней концепцией времени, так называемыми« внутренними клещами », которые отделены вводом данных», -объясняет Sakana AI. «Это позволяет модели« думать »несколько шагов при решении задач вместо того, чтобы немедленно принимать решение за один запуск».
Ядро этого подхода заключается в использовании синхронизации нейронов в качестве фундаментального механизма представления. Сакана ИИ была вдохновлена функциональностью биологического мозга, в которой координация времени между нейронами играет решающую роль. Это биологическое вдохновение выходит за рамки простой метафоры и является основой философии развития ИИ.
Модели на уровне нейронов: технические основы
CTM представляет сложную нейронную архитектуру, которая называется «моделями на уровне нейронов» (NLMS). Каждый нейрон имеет свои собственные параметры веса и преследует историю прошлых активаций. Эти историки влияют на поведение нейронов во времени и обеспечивают более динамичную обработку, чем с обычными искусственными нейрональными сетями.
Процесс мышления работает в нескольких внутренних шагах. Во-первых, «модель синапса» обрабатывает текущие состояния нейрона и внешние входные данные для создания первых сигналов-так называемые предварительные активации. Впоследствии индивидуальные «модели нейронов» используют исторические изделия этих сигналов для расчета своих следующих состояний.
Состояния нейронирования регистрируются со временем для анализа силы синхронизации между нейронами. Эта синхронизация образует центральное внутреннее представление модели. Дополнительный механизм внимания позволяет системе выбирать и обрабатывать соответствующие части входных данных.
Производительность и практические тесты
В ряде экспериментов Sakana AI сравнил производительность CTM с установленными архитектурами. Результаты показывают многообещающий прогресс в различных областях применения:
Классификация рисунков и визуальное изготовление
На хорошо известном наборе данных ImageNet-1K CTM достигает 1 точного точность 72,47% и точность в 5 лучших 89,89%. Хотя эти ценности для современных стандартов не представляют лучших значений, Sakana AI подчеркивает, что это не основная цель проекта. Следует отметить, что это первая попытка использовать нейронную динамику в качестве формы представления для классификации ImageNet.
В тестах с набором данных CIFAR 10 CTM также немного лучше, чем обычные модели, причем их прогнозы более похожи на поведение принятия решений человеком. При CIFAR-10H CTM достигает ошибки калибровки всего 0,15 и, таким образом, превышает как человека (0,22), так и LSTM (0,28).
Сложное решение проблем
В случае задач паритета с длиной 64, CTM достигает впечатляющей точности 100% с более чем 75 барами, в то время как LSTM застряли с максимум 10 эффективными барами со скоростью менее 60%. В лабиринтском эксперименте модель продемонстрировала поведение, которое напоминает постепенное планирование маршрута, с показателем успеха 80% по сравнению с 45% в LSTMS и только 20% в сетях Feed Forward.
Модель модели особенно интересна для динамической адаптации глубины своей обработки: она останавливается раньше в случае простых задач, причем более сложная она рассчитывает дольше. Это работает без дополнительных функций убытков и является неотъемлемым свойством архитектуры.
Интерпретируемость и прозрачность
Выдающейся особенностью CTM является его интерпретируемость. Во время обработки изображений сканирование внимания сканирование систематически соответствующие функции, что дает представление о «процессе мышления» модели. В лабиринтовых экспериментах система показала поведение, которое напоминает постепенное планирование поведения маршрута-А, которое, по мнению разработчиков, возникает и не было явно запрограммировано.
Sakana AI даже предоставляет интерактивную демонстрацию, в которой система CTM в браузере выходит из лабиринта на до 150 шагов. Эта прозрачность является важным преимуществом перед многими современными системами ИИ, процесс принятия решений, который часто воспринимается как «черный ящик».
Подходит для:
Проблемы и ограничения
Несмотря на многообещающие результаты, CTM по -прежнему сталкивается с значительными проблемами:
- Вычислительные усилия: Каждое внутренние часы требуют полных форвардных прогонов, что увеличивает затраты на обучение по сравнению с LSTMS примерно в три раза.
- Масштабируемость: текущие реализации обрабатывают максимум 1000 нейронов, и масштабирование до размера трансформатора (параметры ≥1 миллиарда) еще не протестировано.
- Области применения: хотя CTM показывает хорошие результаты в конкретных тестах, еще неизвестно, используются ли эти преимущества в широком практическом применении.
Исследователи также экспериментировали с различными размерами моделей и обнаружили, что больше нейронов привели к более разнообразным моделям активности, но не улучшали результаты. Это указывает на сложные отношения между архитектурой модели, размером и производительностью.
Sakana AI: новый подход к искусственному интеллекту
Sakana AI был основан в июле 2023 года провидцем AI Дэвидом Ха и Ллионом Джонсом, оба из бывших исследователей Google, вместе с Реном Ито, бывшим сотрудником Mercari и чиновниками в министерстве иностранных дел Японии. Компания использует фундаментальный подход, чем многие застройщики искусственного интеллекта.
Вместо того, чтобы идти по обычным пути более массивным, ресурсным моделям ИИ, Сакана ИИ вдохновляет природой, особенно благодаря коллективному интеллекту рыбных роя и роя птиц. В отличие от таких компаний, как OpenAAI, которые разрабатывают обширные, мощные модели, такие как CHATGPT, Sakana AI опирается на децентрализованный подход с меньшими, совместными моделями ИИ, которые эффективно работают вместе.
Эта философия также отражена в CTM. Вместо того, чтобы просто создавать более крупные модели с большим количеством параметров, Sakana AI фокусируется на фундаментальных архитектурных инновациях, которые могут принципиально изменить способ, которым система ИИ может обрабатывать информацию.
Сдвиг парадигмы в разработке ИИ?
Непрерывная мыслительная машина может отметить значительный шаг в разработке ИИ. Вновь введя временную динамику как центральный элемент искусственных нейронных сетей, Sakana AI расширяет репертуар инструментов и концепций для исследования ИИ.
Биологическое вдохновение, интерпретируемость и глубина адаптивного расчета CTM могут быть особенно ценными в областях применения, которые требуют сложных выводов и решения проблем. Кроме того, этот подход может привести к более эффективным системам искусственного интеллекта, которые могут делать с меньшими вычислительными ресурсами.
Еще неизвестно, представляет ли CTM прорыв. Самой большой проблемой будет преобразование многообещающих результатов лабораторных тестов в практические применения и масштабировать архитектуру в более крупные модели.
Независимо от этого, CTM представляет собой смелый и инновационный подход, который показывает, что, несмотря на впечатляющие успехи современных систем ИИ, в архитектуре искусственных нейронных сетей все еще есть много места для фундаментальных инноваций. Sakana AIS непрерывная мыслительная машина напоминает нам, что мы можем быть только в начале долгого пути, чтобы развить действительно человеческий искусственный интеллект.
Подходит для:
Ваша трансформация искусственного интеллекта, интеграция ИИ и эксперт по индустрии платформ AI
☑️ Наш деловой язык — английский или немецкий.
☑️ НОВИНКА: Переписка на вашем национальном языке!
Конрад Вольфенштейн
Я был бы рад служить вам и моей команде в качестве личного консультанта.
Вы можете связаться со мной, заполнив контактную форму или просто позвоните мне по телефону +49 89 89 674 804 (Мюнхен) . Мой адрес электронной почты: wolfenstein ∂ xpert.digital
Я с нетерпением жду нашего совместного проекта.
