Як ШІ навчається подібно до мозку: Новий підхід до систем ШІ до навчання з часом – ШІ ​​Сакана та машина безперервного мислення

Машинне мислення 2.0: Чому CTM є віхою

Нова «Машина безперервного мислення» (CTM) від японського стартапу Sakana AI знаменує собою зміну парадигми в дослідженнях штучного інтелекту, встановлюючи часову динаміку нейронної активності як центральний механізм машинного мислення. На відміну від традиційних моделей ШІ, які обробляють інформацію за один прохід, CTM імітує багатоетапний процес мислення, який більше нагадує роботу людського мозку.

Підходить для цього:

• Мислений експеримент | Компанії без клієнтів: аналіз майбутнього комерції у світі, керованому штучним інтелектом

Революція мислення, заснованого на часі

У той час як традиційні моделі штучного інтелекту, такі як GPT-4 або Llama 3, працюють послідовно — вхідні дані надходять, вихідні дані виходять, — CTM порушує цей принцип. Система працює з концепцією внутрішнього часу, так званими «тиками» або дискретними кроками в часі, завдяки яким внутрішній стан моделі поступово змінюється. Такий підхід дозволяє ітеративну адаптацію та створює процес, який більше нагадує природний процес мислення, ніж просту реакцію.

«CTM працює з внутрішньою концепцією часу, так званими «внутрішніми тиками», які не пов’язані з вхідними даними», – пояснює Сакана ШІ. «Це дозволяє моделі «продумувати» кілька кроків під час вирішення завдань, замість того, щоб приймати рішення миттєво за один прохід»

Суть цього підходу полягає у використанні нейронної синхронізації як фундаментального механізму представлення. Sakana AI черпав натхнення з роботи біологічного мозку, де часова координація між нейронами відіграє вирішальну роль. Це біологічне натхнення виходить за рамки простої метафори та формує основу їхньої філософії розробки штучного інтелекту.

Моделі нейронного рівня: технічні основи

CTM представляє складну нейронну архітектуру, відому як «Моделі нейронного рівня» (NLM). Кожен нейрон має власні вагові параметри та відстежує історію минулих активацій. Ці історії впливають на поведінку нейронів з часом, забезпечуючи більш динамічну обробку, ніж у звичайних штучних нейронних мережах.

Процес мислення розгортається в кілька внутрішніх кроків. Спочатку «синаптична модель» обробляє поточні стани нейронів, а також зовнішні вхідні дані для генерації початкових сигналів – так званих попередніх активацій. Згодом окремі «моделі нейронів» отримують доступ до історії цих сигналів для обчислення своїх наступних станів.

Стан нейронів записується з часом для аналізу сили синхронізації між нейронами. Ця синхронізація формує центральне внутрішнє представлення моделі. Додатковий механізм уваги дозволяє системі вибірково вибирати та обробляти відповідні частини вхідних даних.

Випробування на продуктивність та практичні випробування

У серії експериментів Sakana AI порівняла продуктивність CTM з усталеними архітектурами. Результати показують багатообіцяючий прогрес у різних сферах застосування:

Класифікація зображень та візуальна обробка

На відомому наборі даних ImageNet 1K, CTM досягає точності 72,47% серед перших, а 89,89% серед перших, серед п'яти. Хоча ці значення не є найвищими за сучасними стандартами, Sakana AI наголошує, що це не є основною метою проєкту. Варто зазначити, що це перша спроба використання нейронної динаміки як представлення для класифікації ImageNet.

У тестах з використанням набору даних CIFAR-10 CTM також показав дещо кращі результати, ніж звичайні моделі, а його прогнози були більше схожими на прийняття рішень людиною. На CIFAR-10H CTM досягає похибки калібрування лише 0,15, перевершуючи як людські (0,22), так і LSTM (0,28).

Вирішення складних проблем

У завданнях парності довжиною 64, CTM досягає вражаючої 100% точності з понад 75 тактовими циклами, тоді як LSTM зависають на точності менше 60% з максимум 10 ефективними тактовими циклами. В експерименті з лабіринтом модель продемонструвала поведінку, подібну до покрокового планування маршруту, з коефіцієнтом успіху 80%, порівняно з 45% для LSTM та лише 20% для мереж прямого зв'язку.

Особливо цікавою є здатність моделі динамічно регулювати глибину обробки: вона зупиняється раніше для простих завдань і обчислює довше для складніших. Це працює без додаткових функцій із втратами та є невід'ємною рисою архітектури.

Інтерпретованість та прозорість

Ключовою особливістю CTM є її інтерпретованість. Під час обробки зображень фокусні головки систематично сканують відповідні характеристики, надаючи уявлення про «хід думок» моделі. В експериментах з лабіринтом система демонструвала поведінку, подібну до покрокового планування маршруту — поведінку, яка, за словами розробників, є емерджентною та не запрограмованою явно.

Sakana AI навіть пропонує інтерактивну демонстрацію, в якій система CTM знаходить вихід із лабіринту, виконуючи до 150 кроків у браузері. Ця прозорість є значною перевагою порівняно з багатьма сучасними системами штучного інтелекту, чиє прийняття рішень часто сприймається як «чорна скринька».

Підходить для цього:

• Розвиток ринку штучного інтелекту в Японії: фаворити, дослідження, підтримка, додатки та плани на майбутнє

Виклики та обмеження

Незважаючи на багатообіцяючі результати, CTM все ще стикається зі значними труднощами:

1. Обчислювальні зусилля: кожен цикл внутрішнього тактового сигналу вимагає повних прямих проходів, що збільшує витрати на навчання приблизно втричі порівняно з LSTM.
2. Масштабованість: Поточні реалізації можуть обробляти максимум 1000 нейронів, а масштабування до розміру трансформатора (≥1 мільярд параметрів) ще не тестувалося.
3. Галузі застосування: Хоча CTM показує хороші результати в певних тестах, ще належить з'ясувати, чи ці переваги також будуть реалізовані в широкому практичному застосуванні.

Дослідники також експериментували з моделями різних розмірів і виявили, що хоча більша кількість нейронів призводила до різноманітніших моделей активності, це не автоматично покращувало результати. Це свідчить про складні взаємозв'язки між архітектурою моделі, розміром та продуктивністю.

Сакана А.І.: Новий підхід до штучного інтелекту

Компанію Sakana AI було засновано в липні 2023 року візіонерами ШІ Девідом Ха та Лайоном Джонсом, обоє колишніми дослідниками Google, а також Реном Іто, колишнім співробітником Mercari та посадовцем Міністерства закордонних справ Японії. Компанія застосовує принципово інший підхід, ніж багато відомих розробників ШІ.

Замість традиційного шляху масивних, ресурсоємних моделей штучного інтелекту, Sakana AI черпає натхнення з природи, зокрема з колективного інтелекту зграй риб та птахів. На відміну від таких компаній, як OpenAI, які розробляють великі, потужні моделі, такі як ChatGPT, Sakana AI спирається на децентралізований підхід з меншими, колаборативними моделями штучного інтелекту, які ефективно працюють разом.

Ця філософія також відображається в CTM. Замість того, щоб просто створювати більші моделі з більшою кількістю параметрів, Sakana AI зосереджується на фундаментальних архітектурних інноваціях, які можуть докорінно змінити спосіб обробки інформації системами штучного інтелекту.

Зміна парадигми в розробці штучного інтелекту?

Машина безперервного мислення може стати значним кроком у розвитку штучного інтелекту. Знову вводячи часову динаміку як центральний елемент штучних нейронних мереж, Sakana AI розширює репертуар інструментів та концепцій для досліджень ШІ.

Біологічна натхненність, інтерпретованість та адаптивна обчислювальна глибина CTM можуть бути особливо цінними в застосунках, що вимагають складного мислення та вирішення проблем. Крім того, цей підхід може призвести до створення ефективніших систем штучного інтелекту, які потребують менше обчислювальних ресурсів.

Чи справді CTM стане проривом, ще належить з'ясувати. Найбільшим викликом буде перетворення багатообіцяючих результатів лабораторних випробувань на практичні застосування та масштабування архітектури до більших моделей.

Незважаючи на це, CTM являє собою сміливий та інноваційний підхід, демонструючи, що попри вражаючі успіхи сучасних систем штучного інтелекту, все ще існує значний простір для фундаментальних інновацій в архітектурі штучних нейронних мереж. Машина безперервного мислення Sakana AI нагадує нам, що ми можемо бути лише на початку довгого шляху до розробки справді людського штучного інтелекту.

Підходить для цього:

• Розвиток штучного інтелекту в німецькій економіці
• Лідерство в трансформації штучного інтелекту: Звіт про семінар для спеціалістів та менеджерів

☑ Наша ділова мова - англійська чи німецька

☑ Нове: листування на вашій національній мові!

Konrad Wolfenstein

Я радий бути доступним вам та моїй команді як особистого консультанта.

Ви можете зв’язатися зі мною, заповнивши тут контактну форму або просто зателефонуйте мені за номером +49 89 674 804 (Мюнхен) . Моя електронна адреса: Вольфенштейн ∂ xpert.digital

Я з нетерпінням чекаю нашого спільного проекту.

☑ Підтримка МСП у стратегії, порадах, плануванні та впровадженні

☑ Створення або перестановка стратегії AI

☑ Піонерський розвиток бізнесу