Confronto tra AI nel benchmark ARC dei modelli AI: GPT-5 contro Grok contro o3

Che cos'è il benchmark ARC-AGI e perché è stato sviluppato?

Il benchmark ARC-AGI è una serie di test per misurare l'intelligenza generale dei sistemi di intelligenza artificiale, sviluppati da François Chollet nel 2019. ARC sta per "Abstraction and Reasoning Corpus for Artificial General Intelligence". Il benchmark è stato creato per valutare la capacità dei sistemi di intelligenza artificiale di comprendere e risolvere nuovi compiti per i quali non sono stati addestrati in modo esplicito.

Lo sviluppo del benchmark si basa sulla definizione di intelligenza di Chollet, contenuta nel suo fondamentale articolo "Sulla misura dell'intelligenza". Egli sostiene che la vera intelligenza non risiede nella padronanza di compiti specifici, ma nell'efficienza nell'acquisizione di nuove competenze. Il test consiste in enigmi visivi con griglie colorate, in cui i sistemi di intelligenza artificiale devono riconoscere le regole di trasformazione sottostanti e applicarle a nuovi esempi.

In che modo ARC-AGI si differenzia dagli altri benchmark di intelligenza artificiale?

A differenza dei test di intelligenza artificiale convenzionali, che spesso si basano su conoscenze pregresse o modelli memorizzati, l'ARC-AGI si concentra sulle cosiddette "conoscenze pregresse fondamentali" – abilità cognitive di base come la permanenza degli oggetti, il conteggio e la comprensione spaziale. Queste abilità vengono in genere acquisite entro i quattro anni di età.

La differenza fondamentale è che ARC-AGI è specificamente progettato per essere risolvibile tramite memorizzazione pura o interpolazione dei dati. Ogni compito nel benchmark è unico ed è stato sviluppato appositamente per il test, quindi non dovrebbero esistere esempi online. Questo rende il test resistente alle consuete strategie dei sistemi di intelligenza artificiale basate su grandi quantità di dati di addestramento.

Quali sono le diverse versioni del benchmark ARC-AGI?

Esistono ora tre versioni principali del benchmark:

ARC-AGI-1

Nella versione originale del 2019, che consiste in puzzle visivi statici, gli esseri umani raggiungono una media del 95%, mentre la maggior parte dei sistemi di intelligenza artificiale si attesta da tempo al di sotto del 5%.

ARC-AGI-2

Questa versione migliorata, rilasciata nel 2025, è specificamente progettata per sfidare anche i moderni sistemi di ragionamento. Mentre gli esseri umani continuano a raggiungere prestazioni prossime al 100%, persino i modelli di intelligenza artificiale più avanzati riescono a gestire solo il 10-20% dei compiti.

ARC-AGI-3

L'ultima versione, ancora in fase di sviluppo, introduce elementi interattivi. Invece di puzzle statici, gli agenti di intelligenza artificiale devono imparare attraverso l'esplorazione e il tentativo di errore in un mondo a griglia, in modo simile a come gli esseri umani esplorano nuovi ambienti.

Come si comportano i diversi modelli di intelligenza artificiale nei test ARC-AGI?

Le differenze di prestazioni tra i diversi modelli di intelligenza artificiale sono significative:

Su ARC-AGI-1, Grok 4 raggiunge circa il 68%, mentre GPT-5 si ferma al 65,7%. Il costo per attività è di circa 1 dollaro per Grok 4 e 0,51 dollari per GPT-5.

Nel test ARC-AGI-2, il più difficile, le prestazioni calano drasticamente: GPT-5 raggiunge solo il 9,9% a un costo di 0,73 $ per attività, mentre Grok 4 (Thinking) ottiene risultati migliori, circa il 16%, anche se a un costo significativamente più elevato di 2-4 $.

Come previsto, le varianti di modello più economiche mostrano prestazioni più deboli: GPT-5 Mini raggiunge il 54,3% su AGI-1 e il 4,4% su AGI-2, mentre GPT-5 Nano raggiunge rispettivamente solo il 16,5% e il 2,5%.

Qual è il segreto del modello di anteprima o3?

Il modello o3-preview di OpenAI rappresenta un caso speciale. Nel dicembre 2024, ha raggiunto un impressionante punteggio compreso tra il 75,7% e l'87,5% su ARC-AGI-1, a seconda della potenza di calcolo utilizzata. È stata la prima volta che un sistema di intelligenza artificiale ha superato la soglia di prestazioni umana dell'85%.

Tuttavia, c'è un limite importante: la versione di o3 disponibile al pubblico ha prestazioni significativamente inferiori rispetto alla versione di anteprima originale. Secondo l'ARC Prize, la versione rilasciata di o3 raggiunge solo il 41% (bassa capacità di calcolo) e il 53% (media capacità di calcolo) su ARC-AGI-1, rispetto al 76-88% della versione di anteprima.

OpenAI ha confermato che il modello pubblicato ha un'architettura diversa e più piccola ed è ottimizzato per applicazioni di chat e prodotti. Questa discrepanza solleva dubbi sulle sue effettive capacità e sottolinea l'importanza di esaminare criticamente i risultati di benchmark di modelli non pubblicati.

Come funziona il concorso ARC Prize?

L'ARC Prize è un concorso annuale con un montepremi complessivo di oltre un milione di dollari USA, volto a promuovere il progresso dell'open source verso l'AGI. L'attuale edizione del concorso, del 2025, si svolgerà dal 26 marzo al 3 novembre sulla piattaforma Kaggle.

La struttura dei prezzi include:

• Gran Premio (700.000 USD): sbloccato quando un team raggiunge l'85% di precisione sul set di dati di valutazione privata
• Premio per il punteggio più alto (75.000 USD): per le squadre con i punteggi più alti
• Premio Paper (50.000 USD): per i progressi concettuali più significativi
• Premi aggiuntivi (175.000 USD): ulteriori categorie saranno annunciate

È importante sottolineare che tutti i vincitori dovranno pubblicare le proprie soluzioni come open source. Questo è in linea con la missione dell'ARC Prize Foundation: rendere i progressi dell'AGI accessibili all'intera comunità scientifica.

Quali sono le sfide tecniche del benchmark ARC-AGI?

I compiti in ARC-AGI richiedono diverse abilità cognitive che sono naturali per gli esseri umani ma estremamente difficili per i sistemi di intelligenza artificiale:

Interpretazione dei simboli

L'intelligenza artificiale deve comprendere i simboli astratti e ricavarne il significato dal contesto.

Pensiero compositivo multilivello

I problemi devono essere suddivisi in sottofasi e risolti in sequenza.

Applicazione di regole dipendenti dal contesto

A seconda del contesto, la stessa regola potrebbe dover essere applicata in modo diverso.

Generalizzazione da alcuni esempi

In genere sono disponibili solo 2-3 coppie dimostrative da cui derivare la regola di trasformazione.

Quale ruolo gioca l'addestramento in fase di test nella risoluzione dell'ARC-AGI?

L'addestramento in fase di test (TTT) si è dimostrato un approccio promettente per migliorare le prestazioni di ARC-AGI. Questo metodo adatta dinamicamente i parametri del modello ai dati di input correnti durante l'inferenza, anziché basarsi esclusivamente su conoscenze pre-addestrate.

I ricercatori del MIT hanno dimostrato che la TTT migliora significativamente le prestazioni dei modelli linguistici su ARC-AGI. Il metodo consente ai modelli di adattarsi durante la risoluzione dei compiti e di apprendere da esempi specifici. Questo imita il comportamento umano nella risoluzione dei problemi, in cui dedichiamo più tempo a problemi complessi.

Piattaforme di intelligenza artificiale indipendenti come alternativa strategica per le aziende europee – Immagine: Xpert.Digital

Ki-GameChanger: la piattaforma AI più flessibile – soluzioni su misura che riducono i costi, migliorano le loro decisioni e aumentano l'efficienza

Piattaforma AI indipendente: integra tutte le fonti di dati aziendali pertinenti

• Integrazione rapida AI: soluzioni AI su misura per le aziende in ore o giorni anziché mesi
• Infrastruttura flessibile: basata su cloud o hosting nel proprio data center (Germania, Europa, scelta libera della posizione)

• La massima sicurezza dei dati: l'uso negli studi legali è l'evidenza sicura
• Utilizzare attraverso un'ampia varietà di fonti di dati aziendali
• Scelta dei tuoi o vari modelli AI (DE, UE, USA, CN)

Maggiori informazioni qui:

• Piattaforme di intelligenza artificiale indipendenti vs. hyperscaler: qual è la soluzione giusta per te?

Cosa significano i risultati per lo sviluppo dell'AGI?

I risultati rivelano un netto divario tra l'intelligenza umana e quella artificiale. Mentre gli esseri umani risolvono intuitivamente i compiti di ARC-AGI, persino i sistemi di intelligenza artificiale più avanzati falliscono nei compiti di ragionamento di base.

François Chollet sostiene che l'attuale paradigma di sviluppo dell'IA – l'addestramento di modelli sempre più grandi con più dati – abbia raggiunto i suoi limiti. Gli scarsi risultati ottenuti con ARC-AGI, nonostante l'aumento esponenziale delle dimensioni dei modelli, dimostrano, a suo avviso, che "l'intelligenza fluida non nasce dalla scalabilità del pre-addestramento".

Il futuro potrebbe risiedere in nuovi approcci come l'adattamento in fase di test, in cui i modelli possono modificare il proprio stato in fase di esecuzione per adattarsi a nuove situazioni.

Come si prospetta il futuro del benchmark ARC-AGI?

La ARC Prize Foundation prevede di sviluppare costantemente il benchmark. ARC-AGI-3, con i suoi elementi interattivi, dovrebbe essere rilasciato a pieno regime nel 2026 e includerà circa 100 ambienti unici.

L'obiettivo della Fondazione è sviluppare parametri di riferimento che fungano da "stella polare" per lo sviluppo dell'intelligenza artificiale generale. Questo non solo mira a misurare i progressi, ma anche a orientare la ricerca verso direzioni che potrebbero portare a una vera intelligenza generale.

Quali sono le implicazioni economiche delle prestazioni del benchmark?

Il costo per risolvere i compiti ARC-AGI varia notevolmente tra i modelli e ha un impatto diretto sull'applicabilità pratica.

Mentre compiti semplici possono essere risolti con costi API nell'ordine dei centesimi, i costi per compiti di ragionamento complessi aumentano rapidamente. Il modello o3, ad esempio, può costare fino a 1.000 dollari per compito ad alta potenza di calcolo.

Questa struttura dei costi dimostra che, anche se si conseguono progressi tecnici, la fattibilità economica resta un fattore cruciale per l'adozione diffusa delle tecnologie AGI.

Quali sono le implicazioni filosofiche dei risultati dell'ARC-AGI?

I risultati sollevano interrogativi fondamentali sulla natura dell'intelligenza. Il benchmark dimostra che esiste una differenza fondamentale tra la memorizzazione di modelli e la vera comprensione.

Il fatto che gli esseri umani risolvano questi compiti senza sforzo, mentre i sistemi di intelligenza artificiale falliscono, suggerisce che l'intelligenza umana funzioni in modo qualitativamente diverso rispetto agli attuali approcci di intelligenza artificiale. Ciò supporta la tesi di Chollet secondo cui l'intelligenza artificiale richiede più di semplici modelli più ampi e una maggiore quantità di dati.

In che modo ARC-AGI influenza la ricerca sull'intelligenza artificiale?

Questo benchmark ha già portato a una riconsiderazione nella ricerca sull'intelligenza artificiale. Invece di concentrarsi esclusivamente sui modelli di scalabilità, i laboratori leader stanno ora esplorando approcci alternativi come il calcolo in fase di test e i sistemi adattivi.

Questo cambiamento si riflette anche negli investimenti: le aziende investono sempre di più nella ricerca su ragionamenti e risoluzioni dei problemi più efficienti, anziché in corsi di formazione sempre più ampi.

Quale ruolo gioca la comunità open source?

La ARC Prize Foundation sottolinea l'importanza dello sviluppo open source per i progressi dell'AGI. Tutti i vincitori del concorso sono tenuti a rendere pubbliche le proprie soluzioni.

Questa filosofia si basa sulla convinzione che l'AGI sia troppo importante per essere sviluppata esclusivamente in laboratori chiusi. La Fondazione si considera un catalizzatore per una comunità di ricerca collaborativa e trasparente.

Quali sono i limiti del benchmark ARC-AGI?

Nonostante la sua importanza, l'ARC-AGI presenta anche dei limiti. Lo stesso Chollet sottolinea che il superamento del test non equivale al raggiungimento dell'AGI. Il benchmark misura solo un aspetto dell'intelligenza – la capacità di risolvere problemi astratti.

Altri aspetti importanti come la creatività, l'intelligenza emotiva o la pianificazione a lungo termine non vengono misurati. Inoltre, c'è il rischio che vengano sviluppati sistemi specificamente ottimizzati per ARC-AGI che superino il test senza essere realmente intelligenti in generale.

Quali sono i costi di sviluppo dei modelli di intelligenza artificiale nel contesto di ARC-AGI?

L'andamento dei costi mostra andamenti interessanti. Mentre le prestazioni aumentano solo lentamente, i costi per miglioramenti marginali stanno aumentando vertiginosamente.

Questa dinamica dei costi porta a un'importante intuizione: l'efficienza sta diventando il fattore chiave di differenziazione. La Fondazione ARC Prize sottolinea che non solo l'accuratezza, ma anche il costo per compito risolto è un criterio importante.

Cosa significa ARC-AGI per il futuro del lavoro?

I risultati hanno implicazioni rassicuranti per molte professioni. L'incapacità dei sistemi di intelligenza artificiale di risolvere compiti di ragionamento di base dimostra che le capacità cognitive umane sono ben lungi dall'essere sostituite.

Allo stesso tempo, i progressi nelle attività specializzate suggeriscono che l'intelligenza artificiale continuerà a fungere da strumento di supporto al lavoro umano, anziché sostituirlo completamente.

Quali nuovi approcci di ricerca stanno emergendo attraverso ARC-AGI?

Il benchmark ha ispirato diverse direzioni di ricerca innovative:

Sintesi del programma

Sistemi che generano programmi per risolvere problemi.

Approcci neurosimbolici

Combinazione di reti neurali con ragionamento simbolico.

Sistemi multi-agente

Diversi agenti specializzati lavorano insieme.

Algoritmi evolutivi

Sistemi che sviluppano soluzioni in modo evolutivo.

Qual è la visione futura dell'ARC Prize Foundation?

La Fondazione ha una missione chiara: fungere da "Stella Polare" per lo sviluppo dell'AGI aperta. Non si tratta solo di stabilire parametri di riferimento tecnici, ma di creare un ecosistema che promuova l'innovazione garantendo al contempo che i progressi dell'AGI vadano a beneficio di tutta l'umanità.

Lo sviluppo continuo di nuove versioni di benchmark mira a garantire che l'asticella venga costantemente alzata e che la ricerca non resti ferma. Con ARC-AGI-3 e le versioni future, la Fondazione mira a esplorare ulteriormente i limiti di ciò che l'IA può fare e ciò che ancora le manca.

☑️ Supporto alle PMI nella strategia, consulenza, pianificazione e implementazione

☑️ Creazione o riallineamento della strategia AI

☑️ Sviluppo aziendale pionieristico

Konrad Wolfenstein

Sarei felice di fungere da tuo consulente personale.

Potete contattarmi compilando il modulo di contatto qui sotto o semplicemente chiamandomi al numero +49 89 89 674 804 (Monaco) .

Non vedo l'ora di iniziare il nostro progetto comune.

Xpert.Digital è un hub per l'industria con focus su digitalizzazione, ingegneria meccanica, logistica/intralogistica e fotovoltaico.

Con la nostra soluzione di sviluppo aziendale a 360° supportiamo aziende rinomate dal nuovo business al post-vendita.

Market intelligence, smarketing, marketing automation, sviluppo di contenuti, PR, campagne email, social media personalizzati e lead nurturing fanno parte dei nostri strumenti digitali.

Puoi trovarne di più su: www.xpert.digital – www.xpert.solar – www.xpert.plus