Публикувано на: 19 май 2025 г. / Актуализирано на: 19 май 2025 г. – Автор: Konrad Wolfenstein
Как изкуственият интелект се учи като мозък: Нов подход за учене на системи с изкуствен интелект с течение на времето – Sakana AI и машина за непрекъснато мислене – Изображение: Xpert.Digital
Преосмисляне на човешкото мислене: Иновативният CTM на Sakana AI
Машинно мислене 2.0: Защо CTM е важен етап
Новата „Машина за непрекъснато мислене“ (CTM) на японския стартъп Sakana AI бележи промяна в парадигмата в изследванията на изкуствения интелект, като установява времевата динамика на невронната активност като централен механизъм за машинно мислене. За разлика от конвенционалните модели на изкуствен интелект, които обработват информация наведнъж, CTM симулира многоетапен мисловен процес, който по-скоро наподобява работата на човешкия мозък.
Свързано с това:
Революцията на мисленето, основано на времето
Докато традиционните модели на изкуствен интелект, като GPT-4 или Llama 3, работят последователно – входът влиза, изходът излиза – CTM нарушава този принцип. Системата работи с концепция за вътрешно време, така наречените „тикове“ или дискретни времеви стъпки, чрез които вътрешното състояние на модела се развива постепенно. Този подход позволява итеративна адаптация и създава процес, който наподобява повече естествен мисловен процес, отколкото обикновена реакция.
„CTM работи с вътрешна концепция за време, така наречените „вътрешни тик-ове“, които са отделени от входните данни“, обяснява Sakana AI. „Това позволява на модела да „обмисля“ няколко стъпки при решаване на задачи, вместо да взема решение веднага наведнъж.“
Същността на този подход се крие в използването на невронната синхронизация като фундаментален механизъм за представяне. Sakana AI е черпила вдъхновение от работата на биологичните мозъци, където времевата координация между невроните играе ключова роля. Това биологично вдъхновение надхвърля обикновената метафора и формира основата на тяхната философия за разработване на изкуствен интелект.
Модели на невронно ниво: Технически основи
CTM въвежда сложна невронна архитектура, известна като „Модели на невронно ниво“ (NLM). Всеки неврон има свои собствени параметри на тегло и проследява история на минали активации. Тези истории влияят на поведението на невроните във времето, което позволява по-динамична обработка в сравнение с конвенционалните изкуствени невронни мрежи.
Мисловният процес се развива в няколко вътрешни стъпки. Първо, „синаптичен модел“ обработва текущите невронни състояния, както и външни входни данни, за да генерира начални сигнали – така наречените предварителни активации. Впоследствие отделните „невронни модели“ достъпват историята на тези сигнали, за да изчислят следващите си състояния.
Невронните състояния се записват с течение на времето, за да се анализира силата на синхронизацията между невроните. Тази синхронизация формира централното вътрешно представяне на модела. Допълнителен механизъм за внимание позволява на системата селективно да избира и обработва съответните части от входните данни.
Тестове за производителност и практически тестове
В серия от експерименти, Sakana AI сравни производителността на CTM с установени архитектури. Резултатите показват обещаващ напредък в различни области на приложение:
Класификация на изображения и визуална обработка
В добре познатия набор от данни ImageNet 1K, CTM постига точност от 72,47% в Топ 1 и точност от 89,89% в Топ 5. Въпреки че тези стойности не са от най-високо ниво по днешните стандарти, Sakana AI подчертава, че това не е основната цел на проекта. Прави впечатление, че това е първият опит за използване на невронната динамика като представяне за класификация на ImageNet.
В тестове, използващи набора от данни CIFAR-10, CTM също се представи малко по-добре от конвенционалните модели, като прогнозите му бяха по-близки до човешкото вземане на решения. При CIFAR-10H CTM постига грешка при калибриране от само 0,15, надминавайки както човешките (0,22), така и LSTM (0,28).
Решаване на сложни проблеми
В задачи за паритет с дължина 64, CTM постига впечатляващата 100% точност с над 75 тактови цикъла, докато LSTM се забиват с точност под 60% с максимум 10 ефективни тактови цикъла. В експеримент с лабиринт моделът демонстрира поведение, подобно на поетапно планиране на маршрут, с процент на успех от 80%, в сравнение с 45% за LSTM и само 20% за мрежи с предварителна връзка.
Особено интересна е способността на модела динамично да регулира дълбочината на обработка: той спира по-рано за прости задачи и отнема повече време за по-сложни. Това работи без допълнителни функции със загуби и е присъща характеристика на архитектурата.
Тълкуемост и прозрачност
Ключова характеристика на CTM е неговата интерпретируемост. По време на обработката на изображенията, главите за внимание систематично сканират съответните характеристики, предоставяйки представа за „мисловния процес“ на модела. В експерименти с лабиринти системата демонстрира поведение, подобно на поетапното планиране на маршрут – поведение, което според разработчиците е възникващо и не е изрично програмирано.
Sakana AI дори предоставя интерактивна демонстрация, в която CTM система намира изход от лабиринт в до 150 стъпки в браузъра. Тази прозрачност е значително предимство пред много съвременни AI системи, чието вземане на решения често се възприема като „черна кутия“.
Свързано с това:
Предизвикателства и ограничения
Въпреки обещаващите резултати, CTM все още е изправен пред значителни предизвикателства:
- Изчислителни усилия: Всеки вътрешен тактов цикъл изисква пълни преходи напред, което увеличава разходите за обучение приблизително три пъти в сравнение с LSTM.
- Мащабируемост: Текущите реализации могат да обработват максимум 1000 неврона, а мащабирането до размер на трансформатор (≥1 милиард параметъра) все още не е тествано.
- Области на приложение: Въпреки че CTM показва добри резултати в специфични тестове, остава да се види дали тези предимства ще се превърнат и в широки практически приложения.
Изследователите също експериментирали с различни размери на моделите и установили, че макар повече неврони да водят до по-разнообразни модели на активност, те не подобряват автоматично резултатите. Това предполага сложни взаимовръзки между архитектурата на модела, размера и производителността.
Sakana AI: Нов подход към изкуствения интелект
Sakana AI е основана през юли 2023 г. от визионерите в областта на изкуствения интелект Дейвид Ха и Лион Джоунс, и двамата бивши изследователи в Google, заедно с Рен Ито, бивш служител на Mercari и служител в японското Министерство на външните работи. Компанията възприема коренно различен подход от много утвърдени разработчици на изкуствен интелект.
Вместо да поеме по конвенционалния път на масивни, ресурсоемки модели с изкуствен интелект, Sakana AI черпи вдъхновение от природата, по-специално от колективния интелект на пасажи от риби и ята птици. За разлика от компании като OpenAI, които разработват големи, мощни модели като ChatGPT, Sakana AI разчита на децентрализиран подход с по-малки, съвместни модели с изкуствен интелект, които работят ефективно заедно.
Тази философия е отразена и в CTM. Вместо просто да изгражда по-големи модели с повече параметри, Sakana AI се фокусира върху фундаментални архитектурни иновации, които биха могли коренно да променят начина, по който AI системите обработват информация.
Промяна на парадигмата в разработването на изкуствен интелект?
Машината за непрекъснато мислене може да отбележи значителна стъпка в развитието на изкуствения интелект. Чрез повторното въвеждане на темпоралната динамика като централен елемент на изкуствените невронни мрежи, Sakana AI разширява репертоара от инструменти и концепции за изследвания на ИИ.
Биологичното вдъхновение, интерпретируемостта и адаптивната изчислителна дълбочина на CTM биха могли да бъдат особено ценни в приложения, изискващи сложно разсъждение и решаване на проблеми. Освен това, този подход би могъл да доведе до по-ефективни системи с изкуствен интелект, които изискват по-малко изчислителни ресурси.
Дали CTM наистина представлява пробив, предстои да видим. Най-голямото предизвикателство ще бъде превръщането на обещаващите резултати от лабораторните тестове в практически приложения и мащабирането на архитектурата към по-големи модели.
Независимо от това, CTM представлява смел и иновативен подход, демонстрирайки, че въпреки впечатляващите успехи на настоящите системи с изкуствен интелект, все още има значително място за фундаментални иновации в архитектурата на изкуствените невронни мрежи. Машината за непрекъснато мислене на Sakana AI ни напомня, че може би сме едва в началото на дълго пътуване към разработването на истински човекоподобен изкуствен интелект.
Свързано с това:
Вашият експерт в индустрията за трансформация, интеграция и платформи с изкуствен интелект
☑️ Нашият бизнес език е английски или немски
☑️ НОВО: Кореспонденция на родния ви език!
Konrad Wolfenstein
Аз и моят екип с удоволствие ще бъдем на ваше разположение като ваш личен съветник.
Можете да се свържете с мен, като попълните формата за контакт тук или просто ми се обадите на +49 89 89 674 804 ( Мюнхен) . Моят имейл адрес е: [email protected]
Очаквам с нетърпение нашия съвместен проект.
