MI-összecsapás az MI-modellek ARC benchmarkján: GPT-5 vs. Grok vs. o3

Mi az ARC-AGI benchmark, és miért fejlesztették ki?

Az ARC-AGI benchmark egy tesztsorozat a mesterséges intelligencia rendszereinek általános intelligenciájának mérésére, amelyet François Chollet fejlesztett ki 2019-ben. Az ARC az „Abstraction and Reasoning Corpus for Artificial General Intelligence” (Absztrakciós és Érvelési Korpus a Mesterséges Általános Intelligenciához) rövidítése. A benchmarkot azért hozták létre, hogy felmérje a mesterséges intelligencia rendszerek azon képességét, hogy megértsenek és megoldjanak olyan új feladatokat, amelyekre még nem képezték ki őket explicit módon.

A benchmark kidolgozása Chollet intelligenciadefinícióján alapul, amely az „Az intelligencia méréséről” című alapvető tanulmányában található. Azt állítja, hogy az igazi intelligencia nem a konkrét feladatok elsajátításában rejlik, hanem az új készségek elsajátításának hatékonyságában. A teszt színes rácsokkal ellátott vizuális rejtvényekből áll, ahol a mesterséges intelligencia rendszereknek fel kell ismerniük az alapul szolgáló transzformációs szabályokat, és azokat új példákra kell alkalmazniuk.

Miben különbözik az ARC-AGI más mesterséges intelligencia benchmarkoktól?

A hagyományos, gyakran előzetes tudásra vagy memorizált mintákra támaszkodó mesterséges intelligencia tesztekkel ellentétben az ARC-AGI az úgynevezett „alapvető tudáselőzményekre” összpontosít – olyan alapvető kognitív készségekre, mint a tárgyállandóság, a számolás és a térbeli megértés. Ezeket a készségeket jellemzően négyéves korra sajátítják el a gyerekek.

A legfontosabb különbség az, hogy az ARC-AGI-t kifejezetten úgy tervezték, hogy tisztán memorizálással vagy adatinterpolációval megoldható legyen. A benchmarkban szereplő minden feladat egyedi, és kifejezetten a teszthez fejlesztették ki, így online nem létezhetnek rá példák. Ez ellenállóvá teszi a tesztet a nagy mennyiségű tanulóadaton alapuló mesterséges intelligencia rendszerek szokásos stratégiáival szemben.

Milyen ARC-AGI benchmark különböző verziói léteznek?

A benchmarknak jelenleg három fő változata létezik:

ARC-AGI-1

Az eredeti, 2019-es verzió, amely statikus vizuális rejtvényekből áll, az emberek átlagosan 95%-ot érnek el, míg a legtöbb mesterséges intelligencia rendszer már régóta 5% alatt van.

ARC-AGI-2

Ez a továbbfejlesztett verzió, amely 2025-ben jelent meg, kifejezetten arra szolgál, hogy kihívást jelentsen még a modern logikai rendszerek számára is. Míg az emberek továbbra is közel 100%-os teljesítményt érnek el, még a fejlett mesterséges intelligencia modellek is csak a feladatok 10-20%-át tudják kezelni.

ARC-AGI-3

A legújabb, még fejlesztés alatt álló verzió interaktív elemeket vezet be. Statikus rejtvények helyett a mesterséges intelligencia ágenseinek felfedezés és próbálkozások, valamint hibák útján kell tanulniuk egy rácsos világban, hasonlóan ahhoz, ahogyan az emberek új környezeteket fedeznek fel.

Hogyan teljesítenek a különböző MI-modellek az ARC-AGI tesztekben?

A különböző MI-modellek közötti teljesítménybeli különbségek jelentősek:

Az ARC-AGI-1 esetében a Grok 4 körülbelül 68%-ot ér el, míg a GPT-5 65,7%-ot. A feladatonkénti költség körülbelül 1 dollár a Grok 4 esetében és 0,51 dollár a GPT-5 esetében.

Az ARC-AGI-2 teszten, a nehezebben teljesítő teszten a teljesítmény drámaian visszaesik: a GPT-5 mindössze 9,9%-ot ér el feladatonként 0,73 dolláros költséggel, míg a Grok 4 (Gondolkodás) jobban teljesít, körülbelül 16%-kal, bár lényegesen magasabb, 2-4 dolláros költséggel.

A várakozásoknak megfelelően az olcsóbb modellváltozatok gyengébb teljesítményt mutatnak: a GPT-5 Mini 54,3%-ot ér el az AGI-1-en és 4,4%-ot az AGI-2-n, míg a GPT-5 Nano csak 16,5%-ot, illetve 2,5%-ot.

Mi az O3 előnézeti modell titka?

Az OpenAI o3-előnézeti modellje különleges esetet képvisel. 2024 decemberében lenyűgöző 75,7% és 87,5% közötti eredményt ért el az ARC-AGI-1 teszten, a felhasznált számítási teljesítménytől függően. Ez volt az első alkalom, hogy egy MI-rendszer átlépte a 85%-os emberi teljesítményküszöböt.

Van azonban egy fontos korlátozás: az o3 nyilvánosan elérhető verziója lényegesen rosszabbul teljesít, mint az eredeti előzetes verzió. Az ARC-díj szerint az o3 kiadott verziója az ARC-AGI-1-en mindössze 41%-ot (alacsony számítási teljesítmény) és 53%-ot (közepes számítási teljesítmény) ér el, szemben az előzetes verzió 76-88%-os teljesítményével.

Az OpenAI megerősítette, hogy a publikált modell eltérő, kisebb architektúrával rendelkezik, és csevegési és termékalkalmazásokra van optimalizálva. Ez az eltérés kérdéseket vet fel a modell tényleges képességeivel kapcsolatban, és rávilágít a nem publikált modellek benchmark eredményeinek kritikus vizsgálatának fontosságára.

Hogyan működik az ARC-díjverseny?

Az ARC-díj egy éves verseny, amelynek teljes nyereményalapja meghaladja az egymillió amerikai dollárt, és amelynek célja a nyílt forráskódú technológiák (AGI) felé történő fejlődésének előmozdítása. A jelenlegi, 2025-ös verseny március 26. és november 3. között zajlik a Kaggle platformon.

Az árképzési struktúra a következőket tartalmazza:

• Fődíj (700 000 USD): Akkor válik elérhetővé, ha egy csapat eléri a 85%-os pontosságot a privát kiértékelési adatkészletben.
• Legjobb pontszámért járó díj (75 000 USD): A legmagasabb pontszámot elért csapatoknak
• Papírdíj (50 000 USD): A legjelentősebb konceptuális előrelépésekért
• További nyeremények (175 000 USD): További kategóriák bejelentése később történik.

Fontos, hogy minden nyertesnek nyílt forráskódúként kell közzétennie megoldásait. Ez összhangban van az ARC Prize Foundation küldetésével, hogy az AGI-előrelépéseket a teljes kutatói közösség számára elérhetővé tegye.

Milyen technikai kihívásokkal jár az ARC-AGI benchmark?

Az ARC-AGI feladatai számos olyan kognitív készséget igényelnek, amelyek természetesek az emberek számára, de rendkívül nehezek a mesterséges intelligencia rendszerek számára:

Szimbólumértelmezés

A mesterséges intelligenciának meg kell értenie az absztrakt szimbólumokat, és jelentésüket a kontextusból kell levezetnie.

Többszintű kompozíciós gondolkodás

A problémákat részlépésekre kell bontani, és egymást követően megoldani.

Kontextusfüggő szabályalkalmazás

Ugyanazt a szabályt a kontextustól függően eltérően is alkalmazni kell.

Általánosítás néhány példából

Általában csak 2-3 demonstrációs pár áll rendelkezésre, amelyekből a transzformációs szabályt le kell vezetni.

Milyen szerepet játszik a tesztidőszakos betanítás az ARC-AGI megoldásában?

A tesztidőszakos betanítás (TTT) ígéretes megközelítésnek bizonyult az ARC-AGI teljesítményének javítására. Ez a módszer dinamikusan igazítja a modellparamétereket az aktuális bemeneti adatokhoz a következtetés során, ahelyett, hogy kizárólag az előre betanított tudásra támaszkodna.

Az MIT kutatói kimutatták, hogy a szöveges teszt (TTT) jelentősen javítja a nyelvi modellek teljesítményét az ARC-AGI-n. A módszer lehetővé teszi a modellek számára, hogy alkalmazkodjanak a feladatmegoldás során, és tanuljanak konkrét példákból. Ez utánozza az emberi problémamegoldó viselkedést, amelyben több időt töltünk a nehéz problémákkal.

Független mesterséges intelligencia platformok, mint stratégiai alternatíva az európai vállalatok számára – Kép: Xpert.Digital

Ki-GameChanger: A legrugalmasabb AI platform – testreszabott megoldások, amelyek csökkentik a költségeket, javítják döntéseiket és növelik a hatékonyságot

Független AI platform: integrálja az összes releváns vállalati adatforrást

• Gyors AI-integráció: Testreszabott AI-megoldások a társaságok számára órákban vagy napokban hónapok helyett
• Rugalmas infrastruktúra: felhőalapú vagy tárhely a saját adatközpontjában (Németország, Európa, ingyenes helymeghatározás)

• A legmagasabb adatbiztonság: Az ügyvédi irodákban történő felhasználás a biztonságos bizonyíték
• Használja a vállalati adatforrások széles skáláját
• Saját vagy különféle AI modellek választása (DE, EU, USA, CN)

Bővebben itt:

• Független MI platformok kontra hiperskálázók: Melyik megoldás a megfelelő az Ön számára?

Mit jelentenek az eredmények az AGI fejlesztése szempontjából?

Az eredmények egyértelmű szakadékot mutatnak az emberi és a mesterséges intelligencia között. Míg az emberek intuitív módon oldják meg az ARC-AGI feladatokat, még a legmodernebb mesterséges intelligencia rendszerek is kudarcot vallanak az alapvető érvelési feladatokban.

François Chollet szerint a mesterséges intelligencia fejlesztésének jelenlegi paradigmája – egyre nagyobb modellek betanítása több adattal – elérte a határait. Az ARC-AGI gyenge eredményei, a modellméret exponenciálisan növekvő növekedése ellenére, véleménye szerint azt bizonyítják, hogy „a folyékony intelligencia nem a skálázás előtti betanításból fakad”.

A jövő az olyan új megközelítésekben rejlik, mint a tesztidős adaptáció, ahol a modellek futásidejű állapotukat megváltoztathatják az új helyzetekhez való alkalmazkodás érdekében.

Hogyan néz ki az ARC-AGI benchmark jövője?

Az ARC Prize Foundation tervei szerint folyamatosan fejleszteni fogja a benchmarkot. Az interaktív elemeivel ellátott ARC-AGI-3 teljes megjelenése 2026-ra várható, és körülbelül 100 egyedi környezetet fog tartalmazni.

Az Alapítvány célja olyan referenciaértékek kidolgozása, amelyek az általános mesterséges intelligencia fejlesztésének „iránypontjaként” szolgálnak. Ez nemcsak az előrehaladás mérését célozza, hanem a kutatások olyan irányokba terelését is, amelyek valódi általános intelligenciához vezethetnek.

Milyen gazdasági következményei vannak a benchmark teljesítményének?

Az ARC-AGI feladatok megoldásának költsége modellenként nagymértékben változik, és közvetlen hatással van a gyakorlati alkalmazhatóságra.

Míg az egyszerű feladatok API-költségekre vetítve is elegendőek, az összetett logikai feladatok költségei gyorsan emelkednek. Az O3 modell például nagy számítási teljesítmény mellett akár 1000 dollárba is kerülhet feladatonként.

Ez a költségstruktúra azt mutatja, hogy még ha sikerül is technikai áttöréseket elérni, a gazdasági megvalósíthatóság továbbra is kulcsfontosságú tényező az AGI-technológiák széles körű elterjedésében.

Milyen filozófiai következményei vannak az ARC-AGI eredményeinek?

Az eredmények alapvető kérdéseket vetnek fel az intelligencia természetével kapcsolatban. A benchmark azt mutatja, hogy alapvető különbség van a minták memorizálása és a valódi megértés között.

Az a tény, hogy az emberek könnyedén megoldják ezeket a feladatokat, miközben a mesterséges intelligencia rendszerei kudarcot vallanak, arra utal, hogy az emberi intelligencia minőségileg másképp működik, mint a jelenlegi mesterséges intelligencia megközelítések. Ez alátámasztja Chollet azon érvelését, miszerint az AGI többet igényel, mint pusztán nagyobb modelleket és több adatot.

Hogyan befolyásolja az ARC-AGI a mesterséges intelligencia kutatását?

A referenciaérték máris a mesterséges intelligencia kutatásának újragondolásához vezetett. Ahelyett, hogy kizárólag a skálázási modellekre összpontosítanának, a vezető laboratóriumok most alternatív megközelítéseket vizsgálnak, mint például a tesztidőszakos számítás és az adaptív rendszerek.

Ez a változás a beruházásokban is tükröződik: a vállalatok egyre inkább a hatékonyabb érvelést és problémamegoldást célzó kutatásokba fektetnek be ahelyett, hogy egyre nagyobb képzési sorozatokat szerveznének.

Milyen szerepet játszik a nyílt forráskódú közösség?

Az ARC Prize Foundation hangsúlyozza a nyílt forráskódú fejlesztés fontosságát az AGI fejlesztése szempontjából. Minden verseny nyertesének kötelező nyilvánosan elérhetővé tennie megoldásait.

Ez a filozófia azon a meggyőződésen alapul, hogy az AGI túl fontos ahhoz, hogy kizárólag zárt laboratóriumokban fejlesszék. Az Alapítvány egy együttműködő, átlátható kutatói közösség katalizátorának tekinti magát.

Milyen korlátai vannak az ARC-AGI benchmarknak?

Fontossága ellenére az ARC-AGI-nak korlátai is vannak. Chollet maga is hangsúlyozza, hogy a teszt sikeres teljesítése nem egyenlő az AGI elérésével. A benchmark az intelligencia csak egy aspektusát méri – az absztrakt problémák megoldásának képességét.

Más fontos szempontokat, mint például a kreativitást, az érzelmi intelligenciát vagy a hosszú távú tervezést, nem mérik. Továbbá fennáll annak a veszélye, hogy kifejezetten az ARC-AGI-re optimalizált rendszereket fejlesztenek ki, amelyek átmennek a teszten anélkül, hogy összességében valóban intelligensek lennének.

Hogyan alakulnak az AI-modellek költségei az ARC-AGI kontextusában?

A költségtrendek érdekes tendenciákat mutatnak. Míg a teljesítmény csak lassan növekszik, a marginális fejlesztések költségei robbanásszerűen nőnek.

Ez a költségdinamika fontos felismeréshez vezet: a hatékonyság válik a legfontosabb megkülönböztető tényezővé. Az ARC-díj Alapítvány hangsúlyozza, hogy nemcsak a pontosság, hanem a megoldott feladatonkénti költség is fontos kritérium.

Mit jelent az ARC-AGI a munka jövője szempontjából?

Az eredmények megnyugtató következményekkel járnak számos szakma számára. A mesterséges intelligencia rendszereinek képtelensége az alapvető érvelési feladatok megoldására azt mutatja, hogy az emberi kognitív képességek messze nem pótlódtak.

Ugyanakkor a speciális feladatok terén elért eredmények azt sugallják, hogy a mesterséges intelligencia továbbra is az emberi munka támogatására szolgáló eszközként fog szolgálni, ahelyett, hogy teljesen helyettesítené azt.

Milyen új kutatási megközelítések jelennek meg az ARC-AGI révén?

A referenciaérték számos innovatív kutatási irányt inspirált:

Programszintézis

Olyan rendszerek, amelyek problémák megoldására programokat generálnak.

Neuroszimbolikus megközelítések

Neurális hálózatok kombinációja szimbolikus gondolkodással.

Többágenses rendszerek

Több szakosodott ügynök dolgozik együtt.

Evolúciós algoritmusok

Olyan rendszerek, amelyek evolúciós módon fejlesztik a megoldásokat.

Mi az ARC-díj Alapítvány jövőképe?

Az Alapítvány küldetése egyértelmű: a nyílt mesterséges intelligencia fejlesztésének „sarkcsillagaként” szolgálni. Ez nem csupán technikai referenciaértékek meghatározásáról szól, hanem egy olyan ökoszisztéma létrehozásáról, amely elősegíti az innovációt, miközben biztosítja, hogy az AGI fejlődése az egész emberiség javát szolgálja.

Az új benchmark verziók folyamatos fejlesztése biztosítja, hogy a léc folyamatosan magasabb legyen, és a kutatás ne stagnáljon. Az ARC-AGI-3 és a jövőbeli verziók esetében az Alapítvány célja, hogy tovább vizsgálja a mesterséges intelligencia képességeinek határait és azt, hogy miben hiányos még.

☑️ KKV-k támogatása stratégiában, tanácsadásban, tervezésben és megvalósításban

☑️ Az AI stratégia létrehozása vagy átrendezése

☑️ Úttörő vállalkozásfejlesztés

Konrad Wolfenstein

Szívesen szolgálok személyes tanácsadójaként.

Felveheti velem a kapcsolatot az alábbi kapcsolatfelvételi űrlap kitöltésével, vagy egyszerűen hívjon a +49 89 89 674 804 (München) .

Nagyon várom a közös projektünket.

Az Xpert.Digital egy ipari központ, amely a digitalizációra, a gépészetre, a logisztikára/intralogisztikára és a fotovoltaikára összpontosít.

360°-os üzletfejlesztési megoldásunkkal jól ismert cégeket támogatunk az új üzletektől az értékesítés utáni értékesítésig.

Digitális eszközeink részét képezik a piaci intelligencia, a marketing, a marketingautomatizálás, a tartalomfejlesztés, a PR, a levelezési kampányok, a személyre szabott közösségi média és a lead-gondozás.

További információk a következő címen találhatók: www.xpert.digital – www.xpert.solar – www.xpert.plus