Cum învață IA la fel ca un creier: O nouă abordare pentru ca sistemele de IA să învețe în timp – Sakana IA și Mașina de Gândire Continuă – Imagine: Xpert.Digital
Reimaginarea gândirii umane: CTM inovator al Sakana AI
Gândirea Automată 2.0: De ce CTM este o piatră de hotar
Noua „Mașină de Gândire Continuă” (CTM) de la startup-ul japonez Sakana AI marchează o schimbare de paradigmă în cercetarea inteligenței artificiale, stabilind dinamica temporală a activității neuronale ca mecanism central pentru gândirea automată. Spre deosebire de modelele convenționale de inteligență artificială care procesează informațiile într-o singură trecere, CTM simulează un proces de gândire în mai multe etape, care seamănă mai mult cu funcționarea creierului uman.
Legat de asta:
Revoluția gândirii bazate pe timp
În timp ce modelele tradiționale de inteligență artificială, precum GPT-4 sau Llama 3, funcționează secvențial - datele de intrare intră, datele de ieșire ies - CTM rupe acest principiu. Sistemul funcționează cu un concept de timp intern, așa-numiții „ticks” sau pași de timp discreți, prin care starea internă a modelului evoluează incremental. Această abordare permite adaptarea iterativă și creează un proces care seamănă mai mult cu un proces natural de gândire decât cu o simplă reacție.
„CTM funcționează cu un concept intern de timp, așa-numitele «ticuri interne», care sunt decuplate de datele de intrare”, explică Sakana AI. „Acest lucru permite modelului să «gândească» prin mai mulți pași atunci când rezolvă sarcini, în loc să ia o decizie imediat dintr-o singură trecere.”
Nucleul acestei abordări constă în utilizarea sincronizării neuronale ca mecanism fundamental de reprezentare. Sakana AI s-a inspirat din funcționarea creierului biologic, unde coordonarea temporală dintre neuroni joacă un rol crucial. Această inspirație biologică depășește simpla metaforă și formează fundamentul filosofiei lor de dezvoltare a inteligenței artificiale.
Modele la nivel neuronal: Fundamentele tehnice
CTM introduce o arhitectură neuronală complexă, cunoscută sub numele de „Modele la nivel de neuron” (NLM). Fiecare neuron are proprii parametri de ponderare și urmărește un istoric al activărilor anterioare. Aceste istoricuri influențează comportamentul neuronilor în timp, permițând o procesare mai dinamică decât rețelele neuronale artificiale convenționale.
Procesul de gândire se desfășoară în mai mulți pași interni. Mai întâi, un „model sinaptic” procesează stările neuronale actuale, precum și datele de intrare externe, pentru a genera semnale inițiale – așa-numitele preactivări. Ulterior, „modelele neuronale” individuale accesează istoricul acestor semnale pentru a calcula următoarele stări.
Stările neuronale sunt înregistrate în timp pentru a analiza puterea sincronizării dintre neuroni. Această sincronizare formează reprezentarea internă centrală a modelului. Un mecanism atențional suplimentar permite sistemului să aleagă și să proceseze selectiv părțile relevante ale datelor de intrare.
Performanță și teste practice
Într-o serie de experimente, Sakana AI a comparat performanța CTM cu arhitecturi consacrate. Rezultatele arată progrese promițătoare în diverse domenii de aplicare:
Clasificarea imaginilor și procesarea vizuală
Pe binecunoscutul set de date ImageNet 1K, CTM atinge o precizie de 72,47% în Top 1 și o precizie de 89,89% în Top 5. Deși aceste valori nu sunt de top conform standardelor actuale, Sakana AI subliniază că acesta nu este obiectivul principal al proiectului. Este demn de remarcat faptul că aceasta este prima încercare de a utiliza dinamica neuronală ca reprezentare pentru clasificarea ImageNet.
În testele care au utilizat setul de date CIFAR-10, CTM a avut și performanțe puțin mai bune decât modelele convenționale, predicțiile sale fiind mai similare cu procesul decizional uman. Pe CIFAR-10H, CTM atinge o eroare de calibrare de doar 0,15, depășind atât oamenii (0,22), cât și LSTM-urile (0,28).
Rezolvarea problemelor complexe
În sarcinile de paritate cu o lungime de 64, CTM atinge o precizie impresionantă de 100% cu peste 75 de cicluri de ceas, în timp ce LSTM-urile se blochează la o precizie mai mică de 60% cu un maxim de 10 cicluri de ceas efective. Într-un experiment de tip labirint, modelul a demonstrat un comportament similar planificării rutelor pas cu pas, cu o rată de succes de 80%, comparativ cu 45% pentru LSTM-uri și doar 20% pentru rețelele feed-forward.
Deosebit de interesantă este capacitatea modelului de a ajusta dinamic adâncimea de procesare: se oprește mai devreme pentru sarcini simple și calculează mai mult timp pentru cele mai complexe. Acest lucru funcționează fără funcții cu pierderi suplimentare și este o caracteristică inerentă a arhitecturii.
Interpretabilitate și transparență
O caracteristică cheie a CTM este interpretabilitatea sa. În timpul procesării imaginilor, capetele de atenție scanează sistematic caracteristicile relevante, oferind o perspectivă asupra „procesului de gândire” al modelului. În experimentele cu labirinturi, sistemul a prezentat un comportament similar planificării pas cu pas a unui traseu - un comportament care, potrivit dezvoltatorilor, este emergent și nu este programat explicit.
Sakana AI oferă chiar și o demonstrație interactivă în care un sistem CTM își găsește drumul dintr-un labirint în până la 150 de pași în cadrul browserului. Această transparență reprezintă un avantaj semnificativ față de multe sisteme moderne de inteligență artificială, al căror proces decizional este adesea perceput ca o „cutie neagră”.
Legat de asta:
Provocări și limitări
În ciuda rezultatelor promițătoare, CTM se confruntă încă cu provocări semnificative:
- Efort de calcul: Fiecare ciclu de ceas intern necesită treceri complete înainte, ceea ce crește costurile de antrenament de aproximativ trei ori în comparație cu LSTM-urile.
- Scalabilitate: Implementările actuale pot procesa maximum 1.000 de neuroni, iar scalarea la dimensiunea transformatorului (≥1 miliard de parametri) nu a fost încă testată.
- Domenii de aplicare: Deși CTM prezintă rezultate bune în teste specifice, rămâne de văzut dacă aceste avantaje se vor traduce și în aplicații practice largi.
Cercetătorii au experimentat, de asemenea, cu diferite dimensiuni de modele și au descoperit că, deși mai mulți neuroni au condus la modele de activitate mai diverse, aceștia nu au îmbunătățit automat rezultatele. Acest lucru sugerează relații complexe între arhitectura, dimensiunea și performanța modelului.
Sakana AI: O nouă abordare a inteligenței artificiale
Sakana AI a fost fondată în iulie 2023 de vizionarii în domeniul inteligenței artificiale David Ha și Lion Jones, ambii foști cercetători Google, împreună cu Ren Ito, fost angajat Mercari și oficial la Ministerul Afacerilor Externe din Japonia. Compania adoptă o abordare fundamental diferită față de mulți dezvoltatori consacrați în domeniul inteligenței artificiale.
În loc să aleagă calea convențională a modelelor de inteligență artificială masive și consumatoare de resurse, Sakana AI se inspiră din natură, în special din inteligența colectivă a bancurilor de pești și a stolurilor de păsări. Spre deosebire de companii precum OpenAI, care dezvoltă modele mari și puternice precum ChatGPT, Sakana AI se bazează pe o abordare descentralizată, cu modele de inteligență artificială mai mici, colaborative, care funcționează împreună eficient.
Această filozofie se reflectă și în CTM. În loc să construiască pur și simplu modele mai mari cu mai mulți parametri, Sakana AI se concentrează pe inovații arhitecturale fundamentale care ar putea schimba fundamental modul în care sistemele de inteligență artificială procesează informațiile.
O schimbare de paradigmă în dezvoltarea inteligenței artificiale?
Mașina de gândire continuă ar putea marca un pas semnificativ în dezvoltarea inteligenței artificiale. Prin reintroducerea dinamicii temporale ca element central al rețelelor neuronale artificiale, Sakana AI extinde repertoriul de instrumente și concepte pentru cercetarea inteligenței artificiale.
Inspirația biologică, interpretabilitatea și profunzimea computațională adaptivă a CTM ar putea fi deosebit de valoroase în aplicațiile care necesită raționament complex și rezolvare de probleme. În plus, această abordare ar putea duce la sisteme de inteligență artificială mai eficiente, care necesită mai puține resurse computaționale.
Rămâne de văzut dacă CTM reprezintă cu adevărat o descoperire inovatoare. Cea mai mare provocare va fi transpunerea rezultatelor promițătoare din testele de laborator în aplicații practice și scalarea arhitecturii la modele mai mari.
Indiferent de situație, CTM reprezintă o abordare îndrăzneață și inovatoare, demonstrând că, în ciuda succeselor impresionante ale sistemelor actuale de inteligență artificială, există încă un loc semnificativ pentru inovații fundamentale în arhitectura rețelelor neuronale artificiale. Mașina de gândire continuă a Sakana AI ne amintește că s-ar putea să fim abia la începutul unei lungi călătorii către dezvoltarea unei inteligențe artificiale cu adevărat asemănătoare omului.
Legat de asta:
Expertul tău în transformarea, integrarea și platformele IA
☑️ Limba noastră de afaceri este engleza sau germana
☑️ NOU: Corespondență în limba ta maternă!
Konrad Wolfenstein
Eu și echipa mea suntem bucuroși să vă fim la dispoziție în calitate de consilier personal.
Mă puteți contacta completând formularul de contact de aici sau pur și simplu sunându-mă la +49 89 89 674 804 ( München) . Adresa mea de e-mail este: wolfenstein@xpert.digital
Aștept cu nerăbdare proiectul nostru comun.
