Questo è il modo in cui AI impara come un cervello: apprendere un nuovo approccio per i sistemi di intelligenza artificiale con AI Time-Sakana e Image a macchina continua continua: Xpert.Digital
Pensiero umano nuovo: il CTM innovativo di Sakana AI
Machine Thinking 2.0: perché il CTM è una pietra miliare
La nuova "macchina a pensiero continuo" (CTM) della start-up giapponese Sakana AI segna un cambio di paradigma nella ricerca AI stabilendo le dinamiche temporali dell'attività neuronale come meccanismo centrale per il pensiero della macchina. Contrariamente ai modelli di intelligenza artificiale convenzionali che elaborano le informazioni in un round, CTM simula un processo di pensiero multi-stage che si basa più sul funzionamento del cervello umano.
Adatto a:
La rivoluzione del pensiero basato sul tempo
Mentre i modelli di AI tradizionali come GPT-4 o Llama 3 funzionano in sequenza, in un input, un input, un output si spegne con questo principio. Il sistema opera con un concetto di tempo interno, così chiamato "zecche" o tempi discreti, attraverso i quali la condizione interna del modello si sviluppa gradualmente. Questo approccio consente l'adattamento iterativo e crea un processo più simile a un processo di pensiero naturale che a una semplice reazione.
"Il CTM funziona con un concetto di tempo interno, le così chiamate" zecche interne ", che sono disaccoppiate dall'input dei dati", spiega Sakana AI. "Ciò consente al modello di" pensare "a diversi passaggi quando si risolvono le attività invece di prendere immediatamente una decisione in una singola corsa."
Il nucleo di questo approccio risiede nell'uso della sincronizzazione neuronale come meccanismo fondamentale di rappresentazione. Sakana Ai è stata ispirata dalla funzionalità del cervello biologico, in cui il coordinamento tra i neuroni svolge un ruolo cruciale. Questa ispirazione biologica va oltre una semplice metafora e forma la base della sua filosofia di sviluppo dell'IA.
Modelli a livello di neurone: le basi tecniche
Il CTM introduce una complessa architettura neurale, che viene definita "modelli a livello di neurone" (NLMS). Ogni neurone ha i suoi parametri di peso e persegue una storia di attivazioni passate. Questi storici influenzano il comportamento dei neuroni nel tempo e consentono un'elaborazione più dinamica rispetto alle reti neuronali artificiali convenzionali.
Il processo di pensiero viene eseguito in diversi passaggi interni. Innanzitutto, un "modello di sinapsi" elabora gli attuali stati del neurone e i dati di input esterni per creare i primi segnali, le cosiddette pre-attivazioni. Successivamente, i singoli "modelli di neuroni" usano gli storici di questi segnali per calcolare i loro stati successivi.
Gli stati di neuronazione sono registrati nel tempo per analizzare la forza di sincronizzazione tra i neuroni. Questa sincronizzazione forma la rappresentazione interna centrale del modello. Un ulteriore meccanismo di attenzione consente al sistema di selezionare ed elaborare parti pertinenti dei dati di input.
Performance e test pratici
In numerosi esperimenti, Sakana AI ha confrontato le prestazioni del CTM con architetture consolidate. I risultati mostrano progressi promettenti in varie aree di applicazione:
Classificazione delle figure e lavorazione visiva
Sul noto set di dati ImageNet-1K, il CTM raggiunge una precisione top 1 del 72,47% e una precisione della top 5 dell'89,89%. Sebbene questi valori per gli standard di oggi non rappresentino i migliori valori, Sakana Ai sottolinea che questo non è l'obiettivo principale del progetto. È interessante notare che questo è il primo tentativo di utilizzare le dinamiche neurali come forma di rappresentazione per la classificazione Imagenet.
Nei test con il set di dati CIFAR 10, il CTM è anche leggermente meglio rispetto ai modelli convenzionali, con le loro previsioni più simili al comportamento decisionale umano. A CIFAR-10H, il CTM raggiunge un errore di calibrazione di soli 0,15 e quindi supera sia l'uomo (0,22) che LSTMS (0,28).
Risoluzione complessa dei problemi
Nel caso di compiti di parità con una lunghezza di 64, il CTM raggiunge una precisione impressionante del 100% con oltre 75 barre, mentre gli LSTM rimane bloccati con un massimo di 10 barre efficaci a meno del 60%. In un esperimento di labirinto, il modello ha dimostrato un comportamento che ricorda la pianificazione graduale di un percorso, con un tasso di successo dell'80%, rispetto al 45% in LSTMS e solo il 20% nelle reti di avanzamento dei mangimi.
Il modello del modello è particolarmente interessante per adattare dinamicamente la sua profondità di elaborazione: si ferma prima nel caso di compiti semplici, con più complesso che calcola più a lungo. Funziona senza ulteriori funzioni di perdita ed è una proprietà intrinseca dell'architettura.
Interpretabilità e trasparenza
Una caratteristica eccezionale del CTM è la sua interpretabilità. Durante l'elaborazione dell'immagine, le teste di attenzione scansionano sistematicamente le caratteristiche pertinenti, che consentono una visione del "processo di pensiero" del modello. Negli esperimenti di labirinti, il sistema ha mostrato un comportamento che ricorda la pianificazione graduale di un comportamento di percorso A che, secondo gli sviluppatori, è emergente e non è stato programmato esplicitamente.
Sakana AI fornisce persino una demo interattiva in cui un sistema CTM nel browser trova la sua via d'uscita da un labirinto fino a 150 passi. Questa trasparenza è un vantaggio importante per molti moderni sistemi di intelligenza artificiale, il cui processo decisionale è spesso percepito come una "scatola nera".
Adatto a:
Sfide e limitazioni
Nonostante i risultati promettenti, il CTM deve ancora affrontare notevoli sfide:
- Sforzo di elaborazione: ogni orologio interno richiede corse in avanti complete, il che aumenta i costi di formazione rispetto agli LSTM di circa tre volte.
- Scalabilità: le attuali implementazioni elaborano un massimo di 1.000 neuroni e il ridimensionamento della dimensione del trasformatore (≥1 miliardi di parametri) non è stato ancora testato.
- Aree di applicazione: mentre il CTM mostra buoni risultati in test specifici, resta da vedere se questi vantaggi sono utilizzati anche in ampie applicazioni pratiche.
I ricercatori hanno anche sperimentato diverse dimensioni del modello e hanno scoperto che più neuroni hanno portato a modelli di attività più diversi, ma non hanno migliorato automaticamente i risultati. Ciò indica relazioni complesse tra architettura del modello, dimensioni e prestazioni.
Sakana AI: un nuovo approccio all'intelligenza artificiale
Sakana Ai è stata fondata nel luglio 2023 dal visionario AI David Ha e Llion Jones, entrambi ex ricercatori di Google, insieme a Ren Ito, ex dipendente di Mercari e funzionari del Ministero degli Esteri giapponese. La società persegue un approccio fondamentale rispetto a molti sviluppatori di intelligenza artificiale stabiliti.
Invece di percorrere il percorso convenzionale più massicci e ad alta intensità di risorse, Sakana AI è ispirata dalla natura, in particolare dall'intelligenza collettiva di sciami di pesce e sciami di uccelli. Contrariamente a aziende come OpenAai, che sviluppano modelli ampi e potenti come Chatgpt, Sakana AI si basa su un approccio decentralizzato con modelli di intelligenza artificiale più piccoli e collaborativi che funzionano in modo efficiente insieme.
Questa filosofia si riflette anche nel CTM. Invece di costruire semplicemente modelli più grandi con più parametri, Sakana AI si concentra su innovazioni architettoniche fondamentali che potrebbero fondamentalmente cambiare il modo in cui i sistemi di intelligenza artificiale potrebbero elaborare le informazioni.
Un cambio di paradigma nello sviluppo dell'intelligenza artificiale?
La macchina per il pensiero continua potrebbe segnare un passo significativo nello sviluppo dell'intelligenza artificiale. Reintroducendo le dinamiche temporali come elemento centrale delle reti neurali artificiali, Sakana AI estende il repertorio di strumenti e concetti per la ricerca AI.
L'ispirazione biologica, l'interpretazione e la profondità di calcolo adattivo del CTM potrebbero essere particolarmente preziose nelle aree di applicazione che richiedono conclusioni complesse e risoluzione dei problemi. Inoltre, questo approccio potrebbe portare a sistemi di intelligenza artificiale più efficienti che possono fare con meno risorse di elaborazione.
Resta da vedere se il CTM rappresenta effettivamente una svolta. La più grande sfida sarà quella di convertire i risultati promettenti dai test di laboratorio in applicazioni pratiche e di scalare l'architettura a modelli più grandi.
Indipendentemente da ciò, il CTM rappresenta un approccio coraggioso e innovativo che dimostra che, nonostante gli impressionanti successi degli attuali sistemi di intelligenza artificiale, c'è ancora molto spazio per le innovazioni fondamentali nell'architettura delle reti neurali artificiali. La macchina per il pensiero continuo di Sakana Ais ci ricorda che potremmo essere solo all'inizio di un lungo viaggio per sviluppare un'intelligenza artificiale davvero umana.
Adatto a:
La tua trasformazione AI, l'integrazione dell'IA ed esperto del settore della piattaforma AI
☑️ La nostra lingua commerciale è l'inglese o il tedesco
☑️ NOVITÀ: corrispondenza nella tua lingua nazionale!
Konrad Wolfenstein
Sarei felice di servire te e il mio team come consulente personale.
Potete contattarmi compilando il modulo di contatto o semplicemente chiamandomi al numero +49 89 89 674 804 (Monaco) . Il mio indirizzo email è: wolfenstein ∂ xpert.digital
Non vedo l'ora di iniziare il nostro progetto comune.
