Duel de modèles d'IA sur le benchmark ARC : GPT-5 contre Grok contre o3

Qu’est-ce que le benchmark ARC-AGI et pourquoi a-t-il été développé ?

Le benchmark ARC-AGI est une série de tests permettant de mesurer l'intelligence générale des systèmes d'IA, développée en 2019 par François Chollet. ARC signifie « Abstraction and Reasoning Corpus for Artificial General Intelligence » (Corpus d'abstraction et de raisonnement pour l'intelligence artificielle générale). Ce benchmark a été créé pour évaluer la capacité des systèmes d'IA à comprendre et à résoudre de nouvelles tâches pour lesquelles ils n'ont pas été explicitement entraînés.

Le développement de ce référentiel repose sur la définition de l'intelligence proposée par Chollet dans son article fondateur « On the Measure of Intelligence ». Il soutient que la véritable intelligence ne réside pas dans la maîtrise de tâches spécifiques, mais dans l'efficacité de l'acquisition de nouvelles compétences. Le test consiste en des énigmes visuelles avec des grilles colorées, où les systèmes d'IA doivent identifier les règles de transformation sous-jacentes et les appliquer à de nouveaux exemples.

En quoi ARC-AGI diffère-t-il des autres benchmarks d'IA ?

Contrairement aux tests d'IA classiques, qui s'appuient souvent sur des connaissances préalables ou des schémas mémorisés, ARC-AGI se concentre sur les « connaissances fondamentales » — des compétences cognitives essentielles telles que la permanence de l'objet, le dénombrement et le raisonnement spatial. Ces compétences sont généralement acquises par les humains vers l'âge de quatre ans.

La différence cruciale réside dans le fait qu'ARC-AGI est spécifiquement conçu pour être insoluble par simple mémorisation ou interpolation de données. Chaque tâche du banc d'essai est unique et a été développée spécifiquement pour ce test ; aucun exemple ne devrait donc exister en ligne. Cela rend le test résistant aux stratégies classiques des systèmes d'IA qui s'appuient sur de vastes ensembles de données d'entraînement.

Quelles sont les différentes versions du benchmark ARC-AGI ?

Il existe désormais trois versions principales du benchmark :

ARC-AGI-1

La version originale de 2019 est composée d'énigmes visuelles statiques. Les humains atteignent un score moyen de 95 % à ce jeu, tandis que la plupart des systèmes d'IA obtiennent depuis longtemps un score inférieur à 5 %.

ARC-AGI-2

Cette version améliorée, sortie en 2025, est spécifiquement conçue pour mettre à l'épreuve même les systèmes de raisonnement modernes. Alors que les humains continuent d'atteindre un taux de réussite proche de 100 %, même les modèles d'IA les plus avancés ne parviennent à réaliser que 10 à 20 % des tâches.

ARC-AGI-3

La dernière version, encore en développement, introduit des éléments interactifs. Au lieu d'énigmes statiques, les agents IA doivent apprendre par l'exploration et la méthode des essais et erreurs dans un monde quadrillé, à l'instar des humains qui explorent de nouveaux environnements.

Comment les différents modèles d'IA se comportent-ils lors des tests ARC-AGI ?

Les différences de performance entre les différents modèles d'IA sont significatives :

Pour ARC-AGI-1, Grok 4 atteint environ 68 %, tandis que GPT-5 atteint 65,7 %. Le coût par tâche est d'environ 1 $US pour Grok 4 et de 0,51 $US pour GPT-5.

Dans ARC-AGI-2, le test le plus difficile, les performances chutent drastiquement : GPT-5 n'atteint que 9,9 % pour un coût de 0,73 $ par tâche, tandis que Grok 4 (Thinking) fait mieux à environ 16 %, mais à un coût nettement plus élevé de 2 à 4 $.

Comme prévu, les variantes de modèles moins chères affichent des performances inférieures : GPT-5 Mini atteint 54,3 % sur AGI-1 et 4,4 % sur AGI-2, tandis que GPT-5 Nano n’atteint que 16,5 % et 2,5 % respectivement.

Quel est le secret du modèle de prévisualisation o3 ?

Le modèle o3 d'OpenAI constitue un cas particulier. En décembre 2024, il a atteint des performances impressionnantes, de 75,7 % à 87,5 % sur ARC-AGI-1, selon la puissance de calcul utilisée. C'était la première fois qu'un système d'IA dépassait la limite de performance humaine de 85 %.

Cependant, une limitation importante subsiste : la version publique d’o3 est nettement moins performante que la version préliminaire. Selon le prix ARC, la version publiée d’o3 n’atteint que 41 % (faible puissance de calcul) et 53 % (puissance de calcul moyenne) sur ARC-AGI-1, contre 76 à 88 % pour la version préliminaire.

OpenAI a confirmé que le modèle publié possède une architecture différente, plus compacte, et est optimisé pour les applications de messagerie instantanée et de produits. Cet écart soulève des questions quant à ses capacités réelles et souligne l'importance d'évaluer avec rigueur les résultats de tests comparatifs obtenus avec des modèles non publiés.

Comment fonctionne le concours du prix ARC ?

Le prix ARC est un concours annuel doté d'une dotation totale de plus d'un million de dollars américains, visant à promouvoir les progrès de l'open source vers une architecture AGI (Actively Generic Architecture). L'édition 2025 se déroule du 26 mars au 3 novembre sur la plateforme Kaggle.

La structure tarifaire comprend :

• Grand Prix (700 000 USD) : Débloqué lorsqu’une équipe atteint une précision de 85 % sur l’ensemble de données d’évaluation privé
• Prix ​​du meilleur score (75 000 USD) : pour les équipes ayant obtenu les meilleurs scores
• Prix ​​du meilleur article (50 000 USD) : Récompensant les avancées conceptuelles les plus significatives
• Autres prix (175 000 USD) : D'autres catégories seront annoncées ultérieurement

Il est important que tous les lauréats publient leurs solutions en open source. Cela correspond à la mission de la Fondation du Prix ARC, qui vise à rendre les avancées en intelligence artificielle générale accessibles à l'ensemble de la communauté scientifique.

Quels sont les défis techniques du benchmark ARC-AGI ?

Les tâches d'ARC-AGI nécessitent plusieurs capacités cognitives qui sont évidentes pour les humains mais extrêmement difficiles pour les systèmes d'IA :

Interprétation des symboles

L'IA doit comprendre les symboles abstraits et en déduire le sens à partir du contexte.

Pensée compositionnelle en plusieurs étapes

Les problèmes doivent être décomposés en sous-étapes et résolus séquentiellement.

Application de règles dépendante du contexte

Une même règle peut devoir être appliquée différemment selon le contexte.

Généralisation à partir de quelques exemples

En règle générale, seules 2 ou 3 paires de démonstration sont disponibles pour déduire la règle de transformation.

Quel rôle joue l'entraînement pendant les tests dans la résolution d'ARC-AGI ?

L'entraînement en temps réel (TTT) s'est révélé une approche prometteuse pour améliorer les performances d'ARC-AGI. Cette méthode ajuste dynamiquement les paramètres du modèle aux données d'entrée actuelles pendant l'inférence, au lieu de se fier uniquement à des connaissances pré-entraînées.

Des chercheurs du MIT ont démontré que la méthode TTT améliore significativement les performances des modèles de langage sur ARC-AGI. Cette méthode permet aux modèles de s'adapter lors de la résolution de tâches et d'apprendre à partir d'exemples spécifiques. Elle imite ainsi le comportement humain face à la résolution de problèmes, où l'on consacre plus de temps aux problèmes complexes.

Plateformes d'IA indépendantes : une alternative stratégique pour les entreprises européennes - Image : Xpert.Digital

L'IA révolutionne le secteur : la plateforme d'IA la plus flexible – des solutions sur mesure qui réduisent les coûts, améliorent vos décisions et augmentent l'efficacité

Plateforme d'IA indépendante : intègre toutes les sources de données pertinentes de l'entreprise

• Intégration rapide de l'IA : des solutions d'IA sur mesure pour les entreprises, en quelques heures ou quelques jours au lieu de plusieurs mois
• Infrastructure flexible : hébergement dans le cloud ou dans votre propre centre de données (Allemagne, Europe, emplacement libre)

• Sécurité maximale des données : son utilisation dans les cabinets d'avocats en est la preuve irréfutable
• Déploiement sur une grande variété de sources de données d'entreprise
• Choix de modèles d'IA propres ou différents (DE, EU, USA, CN)

En savoir plus ici :

• Plateformes d'IA indépendantes ou hyperscalers : quelle solution est la plus adaptée ?

Que signifient ces résultats pour le développement de l'IA générale ?

Les résultats révèlent un écart important entre l'intelligence humaine et l'intelligence artificielle. Si les humains résolvent intuitivement les tâches ARC-AGI, même les systèmes d'IA les plus avancés échouent face à des tâches cognitives fondamentales.

François Chollet soutient que le paradigme actuel du développement de l'IA – l'entraînement de modèles toujours plus grands avec toujours plus de données – a atteint ses limites. Les piètres résultats obtenus sur ARC-AGI, malgré une augmentation exponentielle de la taille des modèles, prouvent, selon lui, que « l'intelligence fluide ne résulte pas d'une simple mise à l'échelle avant l'entraînement ».

L'avenir pourrait résider dans de nouvelles approches telles que l'adaptation au moment des tests, où les modèles peuvent modifier leur propre état lors de l'exécution pour s'adapter à de nouvelles situations.

Quel avenir pour le benchmark ARC-AGI ?

La Fondation du Prix ARC prévoit le développement continu de ce référentiel. ARC-AGI-3, avec ses éléments interactifs, devrait être entièrement disponible en 2026 et comprendra environ 100 environnements uniques.

La Fondation vise à définir des critères de référence qui serviront de « phare nord » au développement de l'IA générale. Il s'agit non seulement de mesurer les progrès accomplis, mais aussi d'orienter la recherche vers des pistes susceptibles de mener à une véritable intelligence générale.

Quelles sont les implications économiques de la performance de référence ?

Le coût de la résolution des problèmes ARC-AGI varie considérablement d'un modèle à l'autre et a un impact direct sur leur applicabilité pratique.

Si les tâches simples peuvent être résolues avec des coûts d'API de l'ordre de quelques centimes, les coûts des tâches de raisonnement complexes augmentent rapidement. Le modèle o3, par exemple, peut coûter jusqu'à 1 000 $ par tâche avec une puissance de calcul élevée.

Cette structure de coûts montre que même si des percées techniques sont réalisées, la faisabilité économique reste un facteur crucial pour l'application généralisée des technologies d'IA générale.

Quelles sont les implications philosophiques des résultats d'ARC-AGI ?

Ces résultats soulèvent des questions fondamentales sur la nature de l'intelligence. L'étude comparative révèle une différence fondamentale entre la mémorisation de schémas et la véritable compréhension.

Le fait que les humains résolvent ces tâches sans effort, contrairement aux systèmes d'IA, suggère que l'intelligence humaine fonctionne qualitativement différemment des approches actuelles de l'IA. Ceci appuie l'argument de Chollet selon lequel l'IA générale requiert bien plus que de simples modèles plus grands et davantage de données.

Comment ARC-AGI influence-t-il l'orientation de la recherche en IA ?

Cette étude comparative a déjà entraîné une remise en question de la recherche en IA. Au lieu de se concentrer uniquement sur la mise à l'échelle des modèles, les laboratoires de pointe explorent désormais des approches alternatives telles que le calcul en temps réel et les systèmes adaptatifs.

Ce changement se reflète également dans les investissements : les entreprises investissent de plus en plus dans la recherche sur des raisonnements et une résolution de problèmes plus efficaces plutôt que dans des sessions d’entraînement toujours plus importantes.

Quel rôle joue la communauté open source ?

La Fondation du Prix ARC souligne l'importance du développement open source pour le progrès de l'IA générale. Tous les lauréats du concours doivent rendre leurs solutions publiques.

Cette philosophie repose sur la conviction que l'intelligence artificielle générale est trop importante pour être développée uniquement dans des laboratoires fermés. La Fondation se considère comme un catalyseur pour une communauté de recherche collaborative et transparente.

Quelles sont les limites du benchmark ARC-AGI ?

Malgré son importance, l'ARC-AGI présente aussi des limites. Chollet lui-même souligne que réussir le test ne signifie pas atteindre l'intelligence artificielle générale (IAG). Ce test de référence ne mesure qu'un seul aspect de l'intelligence : la capacité à résoudre des problèmes abstraits.

D'autres aspects importants, tels que la créativité, l'intelligence émotionnelle ou la planification à long terme, ne sont pas évalués. De plus, il existe un risque que des systèmes spécifiquement optimisés pour l'ARC-AGI soient développés et réussissent le test sans pour autant être réellement intelligents.

Quels sont les coûts de développement des modèles d'IA dans le contexte d'ARC-AGI ?

L'évolution des coûts révèle des tendances intéressantes. Alors que les performances n'augmentent que lentement, le coût des améliorations marginales explose.

Cette dynamique des coûts met en lumière un point essentiel : l’efficacité devient le facteur de différenciation décisif. La Fondation du Prix ARC souligne que, outre la précision, le coût par problème résolu constitue également un critère crucial.

Que signifie ARC-AGI pour l'avenir du travail ?

Ces résultats sont rassurants pour de nombreuses professions. L'incapacité des systèmes d'IA à résoudre des tâches de réflexion élémentaires démontre que les capacités cognitives humaines sont loin d'être remplacées.

Dans le même temps, les progrès réalisés dans les tâches spécialisées laissent penser que l'IA continuera de servir d'outil de soutien au travail humain, plutôt que de le remplacer complètement.

Quelles nouvelles approches de recherche émergent de l'ARC-AGI ?

Ce référentiel a inspiré plusieurs pistes de recherche novatrices :

Synthèse de programmes

Systèmes qui génèrent des programmes pour résoudre des problèmes.

Approches neurosymboliques

Combinaison de réseaux neuronaux et de raisonnement symbolique.

Systèmes multi-agents

Plusieurs agents spécialisés travaillent ensemble.

Algorithmes évolutionnaires

Des systèmes qui développent des solutions par l'évolution.

Quelle est la vision d'avenir de la Fondation du Prix ARC ?

La Fondation poursuit une mission claire : servir de référence pour le développement de l’IA générale ouverte. Cela implique non seulement des critères techniques, mais aussi la création d’un écosystème qui favorise l’innovation tout en veillant à ce que les progrès de l’IA générale profitent à l’ensemble de l’humanité.

Le développement continu de nouvelles versions de référence vise à garantir un niveau d'exigence toujours plus élevé et à éviter la stagnation de la recherche. Avec ARC-AGI-3 et les versions futures, la Fondation ambitionne d'explorer plus avant les limites de l'IA et ses lacunes.

☑️ Accompagnement des PME en stratégie, conseil, planification et mise en œuvre

☑️ Création ou réalignement de la stratégie d'IA

☑️ Développement commercial pionnier

Konrad Wolfenstein

Je serais heureux de vous servir de conseiller personnel.

Vous pouvez me contacter en remplissant le formulaire de contact ci-dessous ou simplement m'appeler au +49 89 89 674 804 (Munich) .

J'attends avec impatience notre projet commun.

Xpert.Digital est une plateforme industrielle axée sur la numérisation, la construction mécanique, la logistique/intralogistique et le photovoltaïque.

Avec notre solution de développement commercial à 360°, nous accompagnons des entreprises de renom depuis les nouvelles affaires jusqu'à l'après-vente.

L'intelligence de marché, le smarketing, l'automatisation du marketing, le développement de contenu, les relations publiques, les campagnes de courrier électronique, les médias sociaux personnalisés et le lead nurturing font partie de nos outils numériques.

Vous pouvez en savoir plus sur : www.xpert.digital - www.xpert.solar - www.xpert.plus