Ось як AI вчиться як мозок: вивчення нового підходу до систем AI з часовим шаром AI та безперервним, хоча машиною

Машинне мислення 2.0: Чому CTM - це віха

Нова «машина безперервної думки» (CTM) японського запуску Sakana AI позначає зміну парадигми в дослідженні ШІ, встановлюючи динаміку часу нейронної активності як центрального механізму для машинного мислення. На відміну від звичайних моделей AI, які обробляють інформацію в одному раунді, CTM імітує багатоступеневий процес мислення, який більше базується на функціонуванні людського мозку.

Підходить для цього:

• Меморіальна гра | Компанії без клієнтів: аналіз майбутнього торгівлі у світі, що контролюється AI

Революція часу на основі часу

Хоча традиційні моделі AI, такі як GPT-4 або Llama 3, працюють послідовно-вхід, що виходить, виходить з цього принципу. Система працює з внутрішньою концепцією часу, таким чином -зведеними «кліщами» або дискретними термінами, завдяки якому внутрішній стан моделі розвивається поступово. Цей підхід дозволяє ітеративну адаптацію і створює процес, який більше схожий на природний процес мислення, ніж проста реакція.

"CTM працює з внутрішньою концепцією часу, SO -Called" внутрішніми кліщами ", які відокремлені введенням даних", -пояснює Sakana AI. "Це дозволяє моделі" подумати "кілька кроків при вирішенні завдань замість того, щоб негайно приймати рішення в одному запуску."

Ядро такого підходу полягає у використанні синхронізації нейронів як фундаментального механізму представлення. Sakana AI була натхненна функціональністю біологічних мізків, в яких координація між нейронами відіграє вирішальну роль. Це біологічне натхнення виходить за рамки простої метафори і формує основу його філософії розвитку AI.

Моделі на рівні нейронів: Технічні основи

CTM вводить складну нейронну архітектуру, яку називають "моделями рівня нейронів" (NLMS). Кожен нейрон має свої вагові параметри і переслідує історію минулих активацій. Ці історики впливають на поведінку нейронів у часі та забезпечують більш динамічну обробку, ніж із звичайними штучними нейронними мережами.

Процес мислення працює в декількох внутрішніх кроках. По-перше, «модель синапсу» обробляє поточні стани нейронів та зовнішні вхідні дані для створення перших сигналів-так званих попередніх активацій. Згодом окремі «моделі нейронів» використовують історичні дані цих сигналів для обчислення своїх наступних станів.

Стан нейронів реєструється з часом для аналізу сили синхронізації між нейронами. Ця синхронізація утворює центральне внутрішнє зображення моделі. Додатковий механізм уваги дозволяє системі вибирати та обробляти відповідні частини вхідних даних.

Продуктивність та практичні тести

У ряді експериментів Sakana AI порівнював продуктивність CTM із встановленими архітектурами. Результати показують перспективний прогрес у різних сферах застосування:

Класифікація фігури та візуальна майстерність

Щодо відомого набору даних ImageNet-1K, CTM досягає точки першої 1 точність 72,47% та топт 5 топ-5-89,89%. Хоча ці значення для сьогоднішніх стандартів не представляють найкращих цінностей, Sakana AI підкреслює, що це не головна мета проекту. Примітно, що це перша спроба використовувати нейронну динаміку як форму представлення для класифікації Imagenet.

У тестах з набором даних CIFAR 10 CTM також трохи краще, ніж звичайні моделі, при цьому їх прогнози більше схожі на поведінку прийняття рішень людини. При CIFAR-10 год CTM досягає помилки калібрування лише 0,15 і, таким чином, перевищує як люди (0,22), так і LSTM (0,28).

Складне вирішення проблем

Що стосується завдань паритету з довжиною 64, CTM досягає вражаючої точності 100% з понад 75 барів, тоді як LSTM застрягли з максимум 10 ефективних барів на менше 60%. У лабіринтному експерименті модель продемонструвала поведінку, яка нагадує поступове планування маршруту, з успішністю 80%, порівняно з 45% у LSTM та лише 20% у мережі вперед.

Модель моделі особливо цікава динамічно адаптувати свою глибину обробки: вона зупиняється раніше у випадку простих завдань, при цьому більш складний обчислюється. Це працює без додаткових функцій втрат і є властивою властивістю архітектури.

Інтерпретація та прозорість

Видатною особливістю CTM є його інтерпретація. Під час обробки зображень сканування уваги очолює систематично актуальні функції, що дозволяє зрозуміти «процес мислення» моделі. У лабіринтних експериментах система показала поведінку, яка нагадує поступове планування поведінки маршруту-A, яка, на думку розробників, виникає і не була явно запрограмована.

Sakana AI навіть забезпечує інтерактивну демонстрацію, в якій система CTM у браузері знаходить з лабіринту до 150 кроків. Ця прозорість є важливою перевагою перед багатьма сучасними системами ШІ, процес прийняття рішень яких часто сприймається як "чорна коробка".

Підходить для цього:

• Розвиток ринку штучного інтелекту в Японії: фаворити, дослідження, підтримка, додатки та плани на майбутнє

Виклики та обмеження

Незважаючи на багатообіцяючі результати, CTM все ще стикається з значними проблемами:

1. Обчислювальні зусилля: Кожен внутрішній годинник вимагає повних пробіжок вперед, що збільшує витрати на навчання порівняно з LSTMS приблизно в три рази.
2. Масштабованість: Поточні реалізації обробляють максимум 1000 нейронів, а масштабування до розміру трансформатора (≥1 мільярда параметрів) ще не перевірено.
3. Області застосування: Хоча CTM показує хороші результати в конкретних тестах, залишається зрозуміти, чи використовуються ці переваги в широких практичних додатках.

Дослідники також експериментували з різними розмірами моделей і виявили, що більше нейронів призводять до більш різноманітних моделей активності, але автоматично не покращували результати. Це вказує на складні взаємозв'язки між архітектурою, розміром та продуктивністю.

Sakana AI: Новий підхід до штучного інтелекту

Sakana AI була заснована в липні 2023 року прозорливою Ай -прозорливою Девідом Ха та Лліоном Джонсом, обома колишніми дослідниками Google, разом з Рен Іто, колишнім працівником Мерчарі та чиновниками японського міністерства закордонних справ. Компанія дотримується фундаментального підходу, ніж у багатьох створених розробників AI.

Замість того, щоб пройти звичайний шлях більш масивні, ресурсні моделі AI, Sakana AI натхненний природою, особливо колективним інтелектом рибних роїв та роїв птахів. На відміну від таких компаній, як OpenAai, які розробляють широкі потужні моделі, такі як Chatgpt, Sakana AI покладається на децентралізований підхід з меншими, спільними моделями AI, які ефективно працюють разом.

Ця філософія також відображається в CTM. Замість того, щоб просто будувати більші моделі з більшою кількістю параметрів, Sakana AI зосереджується на фундаментальних архітектурних інноваціях, які могли б принципово змінити спосіб, яким системами AI може обробляти інформацію.

Зміна парадигми в розвитку ШІ?

Машина безперервної думки може відзначити значний крок у розвитку ШІ. Повторно вводячи часову динаміку як центральний елемент штучних нейронних мереж, Sakana AI розширює репертуар інструментів та концепцій для досліджень AI.

Біологічне натхнення, інтерпретація та глибина пристосування CTM можуть бути особливо цінними в областях застосування, які потребують складних висновків та вирішення проблем. Крім того, такий підхід може призвести до більш ефективних систем AI, які можуть зробити з меншими обчислювальними ресурсами.

Залишається зрозуміти, чи насправді CTM являє собою прорив. Найбільшою проблемою буде перетворення перспективних результатів з лабораторних тестів у практичні програми та масштабування архітектури на більші моделі.

Незалежно від цього, CTM являє собою хоробрий та інноваційний підхід, який показує, що, незважаючи на вражаючі успіхи сучасних систем AI, все ще існує багато місця для фундаментальних інновацій в архітектурі штучних нейронних мереж. Sakana AIS безперервна думка нагадує нам, що ми можемо бути лише на початку тривалої дороги, щоб розвинути справді людський штучний інтелект.

Підходить для цього:

• Розвиток штучного інтелекту в німецькій економіці
• Екскурсія в трансформації AI: звіт про семінар для спеціалістів та менеджерів

☑ Наша ділова мова - англійська чи німецька

☑ Нове: листування на вашій національній мові!

Конрад Вольфенштейн

Я радий бути доступним вам та моїй команді як особистого консультанта.

Ви можете зв’язатися зі мною, заповнивши тут контактну форму або просто зателефонуйте мені за номером +49 89 674 804 (Мюнхен) . Моя електронна адреса: Вольфенштейн ∂ xpert.digital

Я з нетерпінням чекаю нашого спільного проекту.

☑ Підтримка МСП у стратегії, порадах, плануванні та впровадженні

☑ Створення або перестановка стратегії AI

☑ Піонерський розвиток бізнесу