Како вештачка интелигенција учи попут мозга: Нови приступ за учење система вештачке интелигенције током времена – Сакана вештачка интелигенција и машина за континуирано мишљење – Слика: Xpert.Digital
Реосмишљавање људског размишљања: Иновативни CTM компаније Sakana AI
Машинско размишљање 2.0: Зашто је CTM прекретница
Нова „Машина за континуирано мишљење“ (CTM) јапанског стартапа Sakana AI означава промену парадигме у истраживању вештачке интелигенције успостављањем временске динамике неуронске активности као централног механизма за машинско размишљање. За разлику од конвенционалних модела вештачке интелигенције који обрађују информације у једном пролазу, CTM симулира вишестепени процес размишљања који више подсећа на рад људског мозга.
У вези са овим:
Револуција размишљања заснованог на времену
Док традиционални модели вештачке интелигенције попут GPT-4 или Llama 3 раде секвенцијално — улаз улази, излаз излази — CTM крши овај принцип. Систем функционише са концептом интерног времена, такозваним „тиковима“ или дискретним временским корацима, кроз које се унутрашње стање модела постепено развија. Овај приступ омогућава итеративну адаптацију и ствара процес који више подсећа на природни мисаони процес него на пуку реакцију.
„CTM ради са интерним концептом времена, такозваним 'интерним откуцајима', који су одвојени од уноса података“, објашњава Сакана АИ. „Ово омогућава моделу да 'размишља' кроз неколико корака приликом решавања задатака, уместо да одмах доноси одлуку у једном пролазу.“
Суштина овог приступа лежи у коришћењу неуронске синхронизације као основног механизма репрезентације. Сакана АИ је црпела инспирацију из рада биолошких мозгова, где временска координација између неурона игра кључну улогу. Ова биолошка инспирација превазилази пуку метафору и чини темељ њихове филозофије развоја АИ.
Модели на нивоу неурона: Техничке основе
CTM уводи сложену неуронску архитектуру познату као „Модели на нивоу неурона“ (NLM). Сваки неурон има своје параметре тежине и прати историју прошлих активација. Ове историје утичу на понашање неурона током времена, омогућавајући динамичнију обраду него конвенционалне вештачке неуронске мреже.
Процес размишљања се одвија у неколико интерних корака. Прво, „синаптички модел“ обрађује тренутна неуронска стања, као и спољашње улазне податке, како би генерисао почетне сигнале – такозване преактивације. Након тога, појединачни „неуронски модели“ приступају историји ових сигнала како би израчунали своја следећа стања.
Неуронска стања се снимају током времена како би се анализирала јачина синхронизације између неурона. Ова синхронизација формира централну унутрашњу репрезентацију модела. Додатни механизам пажње омогућава систему да селективно бира и обрађује релевантне делове улазних података.
Перформансе и практични тестови
У серији експеримената, Sakana AI је упоредио перформансе CTM-а са успостављеним архитектурама. Резултати показују обећавајући напредак у различитим областима примене:
Класификација слика и визуелна обрада
На добро познатом скупу података ImageNet 1K, CTM постиже тачност од 72,47% међу првим и тачност од 89,89% међу првим 5. Иако ове вредности нису врхунске по данашњим стандардима, Sakana AI наглашава да то није примарни циљ пројекта. Важно је напоменути да је ово први покушај коришћења неуронске динамике као репрезентације за ImageNet класификацију.
У тестовима користећи скуп података CIFAR-10, CTM је такође постигао нешто боље резултате од конвенционалних модела, а његова предвиђања су сличнија људском доношењу одлука. На CIFAR-10H, CTM постиже грешку калибрације од само 0,15, надмашујући и људе (0,22) и LSTM моделе (0,28).
Решавање сложених проблема
У задацима парности дужине 64, CTM постиже импресивних 100% тачности са преко 75 тактних циклуса, док LSTM мреже остају заглављене на мање од 60% тачности са максимално 10 ефективних тактних циклуса. У експерименту са лавиринтом, модел је показао понашање слично планирању руте корак по корак, са стопом успеха од 80%, у поређењу са 45% за LSTM мреже и само 20% за мреже са форвардном доставом.
Посебно је занимљива способност модела да динамички прилагођава дубину обраде: за једноставне задатке зауставља се раније, а за сложеније траје дуже. Ово функционише без додатних функција са губицима и представља инхерентну карактеристику архитектуре.
Интерпретабилност и транспарентност
Кључна карактеристика CTM-а је његова интерпретабилност. Током обраде слике, главе за пажњу систематски скенирају релевантне карактеристике, пружајући увид у „мисаони процес“ модела. У експериментима са лавиринтом, систем је показао понашање слично поступном планирању руте – понашање које је, према речима програмера, емергентно и није експлицитно програмирано.
Сакана АИ чак пружа интерактивну демонстрацију у којој ЦТМ систем проналази излаз из лавиринта у чак 150 корака унутар прегледача. Ова транспарентност је значајна предност у односу на многе модерне АИ системе, чије се доношење одлука често доживљава као „црна кутија“.
У вези са овим:
Изазови и ограничења
Упркос обећавајућим резултатима, CTM се и даље суочава са значајним изазовима:
- Рачунарски напор: Сваки интерни циклус такта захтева комплетне пролазе унапред, што повећава трошкове обуке приближно три пута у поређењу са LSTM-овима.
- Скалабилност: Тренутне имплементације могу обрадити највише 1.000 неурона, а скалирање на величину трансформатора (≥1 милијарду параметара) још није тестирано.
- Области примене: Иако CTM показује добре резултате у специфичним тестовима, остаје да се види да ли ће се ове предности претворити и у широку практичну примену.
Истраживачи су такође експериментисали са различитим величинама модела и открили да, иако већи број неурона доводи до разноврснијих образаца активности, они нису аутоматски побољшали резултате. Ово указује на сложене односе између архитектуре модела, величине и перформанси.
Сакана АИ: Нови приступ вештачкој интелигенцији
Компанију Сакана АИ основали су у јулу 2023. године визионари АИ Дејвид Ха и Лајон Џоунс, обојица бивши истраживачи компаније Гугл, заједно са Реном Итом, бившим запосленим у Меркарију и званичником у јапанском Министарству спољних послова. Компанија има фундаментално другачији приступ од многих етаблираних програмера АИ.
Уместо да се иде конвенционалним путем масивних, ресурсно интензивних вештачких модела, Сакана вештачка интелигенција црпи инспирацију из природе, посебно из колективне интелигенције јата риба и јата птица. За разлику од компанија као што је OpenAI, које развијају велике, моћне моделе попут ChatGPT-а, Сакана вештачка интелигенција се ослања на децентрализовани приступ са мањим, колаборативним вештачким моделима који ефикасно раде заједно.
Ова филозофија се такође огледа у CTM-у. Уместо једноставног прављења већих модела са више параметара, Sakana AI се фокусира на фундаменталне архитектонске иновације које би могле фундаментално да промене начин на који AI системи обрађују информације.
Промена парадигме у развоју вештачке интелигенције?
Машина за континуирано мишљење могла би да означи значајан корак у развоју вештачке интелигенције. Поновним увођењем временске динамике као централног елемента вештачких неуронских мрежа, Сакана вештачка интелигенција проширује репертоар алата и концепата за истраживање вештачке интелигенције.
Биолошка инспирација, интерпретабилност и адаптивна рачунарска дубина CTM-а могу бити посебно вредни у апликацијама које захтевају сложено резоновање и решавање проблема. Штавише, овај приступ би могао довести до ефикаснијих система вештачке интелигенције којима је потребно мање рачунарских ресурса.
Остаје да се види да ли CTM заиста представља пробој. Највећи изазов биће превођење обећавајућих резултата лабораторијских тестова у практичне примене и скалирање архитектуре на веће моделе.
Без обзира на то, CTM представља смео и иновативан приступ, показујући да упркос импресивним успесима тренутних вештачких интелигенција (AI) система, још увек постоји значајан простор за фундаменталне иновације у архитектури вештачких неуронских мрежа. Sakana AI-јева машина за континуирано мишљење подсећа нас да смо можда тек на почетку дугог путовања ка развоју истински људске вештачке интелигенције.
У вези са овим:
Ваш стручњак за трансформацију вештачке интелигенције, интеграцију вештачке интелигенције и индустрију платформи за вештачку интелигенцију
☑️ Наш пословни језик је енглески или немачки
☑️ НОВО: Преписка на вашем матерњем језику!
Konrad Wolfenstein
Ја и мој тим смо срећни што вам можемо бити на располагању као ваш лични саветник.
Можете ме контактирати попуњавањем контакт форме овде wolfenstein@xpert.digital:или ме једноставно позовите на +49 7348 4088 965. Моја имејл адреса је
Радујем се нашем заједничком пројекту.
