MI-összecsapás az MI-modellek ARC benchmarkján: GPT-5 vs. Grok vs. o3

Mi az ARC-AGI benchmark, és miért fejlesztették ki?

Az ARC-AGI benchmark egy tesztsorozat a mesterséges intelligencia rendszereinek általános intelligenciájának mérésére, amelyet François Chollet fejlesztett ki 2019-ben. Az ARC az „Abstraction and Reasoning Corpus for Artificial General Intelligence” (Absztrakciós és Érvelési Korpus a Mesterséges Általános Intelligenciához) rövidítése. A benchmarkot azért hozták létre, hogy felmérje a mesterséges intelligencia rendszerek azon képességét, hogy megértsenek és megoldjanak olyan új feladatokat, amelyekre nem képezték ki őket explicit módon.

A benchmark kidolgozása Chollet intelligenciadefinícióján alapul, amely az „Az intelligencia méréséről” című alapvető tanulmányában található. Azt állítja, hogy az igazi intelligencia nem a konkrét feladatok elsajátításában rejlik, hanem az új készségek elsajátításának hatékonyságában. A teszt színes rácsokkal ellátott vizuális rejtvényekből áll, ahol a mesterséges intelligencia rendszereknek azonosítaniuk kell az alapul szolgáló transzformációs szabályokat, és azokat új példákra kell alkalmazniuk.

Miben különbözik az ARC-AGI más mesterséges intelligencia benchmarkoktól?

A hagyományos mesterséges intelligencia tesztekkel ellentétben, amelyek gyakran előzetes tudásra vagy memorizált mintákra támaszkodnak, az ARC-AGI az úgynevezett „alapvető tudáselőzményekre” összpontosít – olyan alapvető kognitív készségekre, mint a tárgyállandóság, a számolás és a térbeli gondolkodás. Ezeket a készségeket az emberek jellemzően négyéves koruk körül sajátítják el.

A döntő különbség abban rejlik, hogy az ARC-AGI-t kifejezetten úgy tervezték, hogy ne lehessen megoldani puszta memorizálással vagy adatinterpolációval. A benchmark minden egyes feladata egyedi, és kifejezetten a teszthez fejlesztették ki, így online nem létezhetnek példák rá. Ez ellenállóvá teszi a tesztet a nagyméretű betanítási adatkészletekre támaszkodó mesterséges intelligencia rendszerek tipikus stratégiáival szemben.

Milyen ARC-AGI benchmark különböző verziói léteznek?

A benchmarknak jelenleg három fő változata létezik:

ARC-AGI-1

Az eredeti 2019-es verzió statikus vizuális rejtvényekből áll. Az emberek átlagosan 95%-os pontszámot érnek el ebben a játékban, míg a legtöbb mesterséges intelligencia által vezérelt rendszer régóta 5% alatt teljesít.

ARC-AGI-2

Ez a továbbfejlesztett verzió 2025-ben jelent meg, és kifejezetten úgy tervezték, hogy kihívást jelentsen még a modern logikai rendszerek számára is. Míg az emberek továbbra is közel 100%-os sikert érnek el, még a fejlett mesterséges intelligencia modellek is csak a feladatok 10-20%-át végzik el.

ARC-AGI-3

A legújabb, még fejlesztés alatt álló verzió interaktív elemeket vezet be. Statikus rejtvények helyett a mesterséges intelligencia ágenseinek felfedezés és próbálkozások, valamint hibák útján kell tanulniuk egy rácsos világban, hasonlóan ahhoz, ahogy az emberek új környezeteket fedeznek fel.

Hogyan teljesítenek a különböző MI-modellek az ARC-AGI tesztekben?

A különböző MI-modellek közötti teljesítménybeli különbségek jelentősek:

Az ARC-AGI-1 esetében a Grok 4 körülbelül 68%-ot, míg a GPT-5 65,7%-ot ér el. A feladatonkénti költség a Grok 4 esetében körülbelül 1 USD, a GPT-5 esetében pedig 0,51 USD.

Az ARC-AGI-2-ben, a nehezebb tesztben a teljesítmény drasztikusan visszaesik: a GPT-5 mindössze 9,9%-ot ér el feladatonként 0,73 dolláros költséggel, míg a Grok 4 (Gondolkodás) jobban teljesít, körülbelül 16%-kal, de lényegesen magasabb, 2-4 dolláros költséggel.

A várakozásoknak megfelelően az olcsóbb modellváltozatok gyengébb teljesítményt mutatnak: a GPT-5 Mini 54,3%-ot ér el az AGI-1-en és 4,4%-ot az AGI-2-n, míg a GPT-5 Nano csak 16,5%-ot, illetve 2,5%-ot.

Mi a titka az O3 előnézeti modelljének?

Az OpenAI o3 előnézeti modellje különleges esetet képvisel. 2024 decemberében lenyűgöző, 75,7% és 87,5% közötti teljesítménymutatókat ért el az ARC-AGI-1 teszten, a felhasznált számítási teljesítménytől függően. Ez volt az első alkalom, hogy egy MI-rendszer túllépte az emberi teljesítmény 85%-os határát.

Van azonban egy fontos korlátozás: az o3 nyilvánosan elérhető verziója lényegesen rosszabbul teljesít, mint az eredeti előzetes verzió. Az ARC Prize szerint a kiadott o3 az ARC-AGI-1-en csak 41%-ot (alacsony számítási teljesítmény) és 53%-ot (közepes számítási teljesítmény) ér el, szemben az előzetes verzió 76-88%-os teljesítményével.

Az OpenAI megerősítette, hogy a publikált modell eltérő, kisebb architektúrával rendelkezik, és csevegési és termékalkalmazásokra van optimalizálva. Ez az eltérés kérdéseket vet fel a modell tényleges képességeivel kapcsolatban, és rávilágít a nem publikált modellek benchmark eredményeinek kritikus értékelésének fontosságára.

Hogyan működik az ARC-díjverseny?

Az ARC-díj egy évenként megrendezett verseny, amelynek teljes díjalapja meghaladja az egymillió amerikai dollárt, és célja a nyílt forráskódú szoftverek AGI (aktívan generikus architektúra) felé történő fejlődésének előmozdítása. A jelenlegi, 2025-ös verseny március 26. és november 3. között zajlik a Kaggle platformon.

Az árképzési struktúra a következőket tartalmazza:

• Fődíj (700 000 USD): Akkor válik elérhetővé, ha egy csapat eléri a 85%-os pontosságot a privát értékelési adatkészletben
• Legjobb pontszám díj (75 000 USD): A legmagasabb pontszámot elért csapatoknak
• Papírdíj (50 000 USD): A legjelentősebb konceptuális előrelépésekért
• További díjak (175 000 USD): További kategóriák bejelentése később történik

Fontos, hogy minden nyertes nyílt forráskódúként tegye közzé megoldásait. Ez összhangban van az ARC Prize Foundation küldetésével, hogy az AGI-előrelépéseket a teljes kutatói közösség számára elérhetővé tegye.

Milyen technikai kihívásokkal jár az ARC-AGI benchmark?

Az ARC-AGI feladatai számos kognitív képességet igényelnek, amelyek az emberek számára magától értetődőek, de a mesterséges intelligencia rendszerei számára rendkívül nehezek:

Szimbólumértelmezés

A mesterséges intelligenciának meg kell értenie az absztrakt szimbólumokat, és jelentésüket a kontextusból kell levezetnie.

Többlépcsős kompozíciós gondolkodás

A problémákat részlépésekre kell bontani, és egymást követően megoldani.

Kontextusfüggő szabályalkalmazás

Ugyanazt a szabályt a kontextustól függően eltérően is alkalmazni kell.

Általánosítás néhány példából

Általában csak 2-3 demonstrációs pár áll rendelkezésre, amelyekből a transzformációs szabályt le kell vezetni.

Milyen szerepet játszik a tesztidőszakos betanítás az ARC-AGI megoldásában?

A tesztidőszakos betanítás (TTT) ígéretes megközelítésnek bizonyult az ARC-AGI teljesítményének javítására. Ez a módszer dinamikusan igazítja a modellparamétereket az aktuális bemeneti adatokhoz a következtetés során, ahelyett, hogy kizárólag az előre betanított tudásra hagyatkozna.

Az MIT kutatói kimutatták, hogy a szöveges teszt (TTT) jelentősen javítja a nyelvi modellek teljesítményét az ARC-AGI-n. A módszer lehetővé teszi a modellek számára, hogy alkalmazkodjanak a feladatmegoldás során, és tanuljanak konkrét példákból. Ez utánozza az emberi problémamegoldó viselkedést, ahol több időt töltünk a nehéz problémákkal.

AI Game Changer: A legrugalmasabb AI platform – Testreszabott megoldások, amelyek csökkentik a költségeket, javítják a döntéseit és növelik a hatékonyságot

Független mesterséges intelligencia platform: Integrálja az összes releváns vállalati adatforrást

• Gyors MI-integráció: Testreszabott MI-megoldások vállalkozások számára órák vagy napok alatt, hónapok helyett
• Rugalmas infrastruktúra: Felhőalapú vagy saját adatközpontban történő üzemeltetés (Németország, Európa, szabad helyszínválasztás)

• Maximális adatbiztonság: ügyvédi irodákban való alkalmazása cáfolhatatlan bizonyíték
• Telepítés számos vállalati adatforráson
• Saját vagy különböző MI-modellek választhatók (DE, EU, USA, CN)

További információ itt:

• Független MI platformok kontra hiperskálázók: Melyik megoldás a megfelelő?

Mit jelentenek az eredmények az AGI fejlesztése szempontjából?

Az eredmények jelentős szakadékot mutatnak az emberi és a mesterséges intelligencia között. Míg az emberek intuitív módon oldják meg az ARC-AGI feladatokat, még a legfejlettebb mesterséges intelligencia rendszerek is kudarcot vallanak az alapvető kognitív feladatokban.

François Chollet szerint a mesterséges intelligencia fejlesztésének jelenlegi paradigmája – egyre nagyobb modellek betanítása több adattal – elérte a határait. Az ARC-AGI gyenge eredményei, a modellméret exponenciális növekedése ellenére, véleménye szerint azt bizonyítják, hogy „a folyékony intelligencia nem a skálázás előtti betanításból fakad”.

A jövő az olyan új megközelítésekben rejlik, mint a tesztidő-adaptáció, ahol a modellek futásidejű állapotukat megváltoztathatják az új helyzetekhez való alkalmazkodás érdekében.

Mit tartogat a jövő az ARC-AGI benchmark számára?

Az ARC Prize Foundation a benchmark folyamatos fejlesztését tervezi. Az interaktív elemeivel ellátott ARC-AGI-3 teljes megjelenése 2026-ra várható, és körülbelül 100 egyedi környezetet fog tartalmazni.

Az Alapítvány célja olyan referenciaértékek kidolgozása, amelyek az általános mesterséges intelligencia fejlesztésének „sarkcsillagaként” szolgálnak. Ez nemcsak a haladás mérését foglalja magában, hanem a kutatások olyan irányokba irányítását is, amelyek valódi általános intelligenciához vezethetnek.

Milyen gazdasági következményei vannak a benchmark teljesítményének?

Az ARC-AGI problémák megoldásának költsége modellenként nagymértékben változik, és közvetlen hatással van a gyakorlati alkalmazhatóságra.

Míg az egyszerű feladatok API-költségekre vetítve is elegendőek, az összetett logikai feladatok költségei gyorsan emelkednek. Az O3 modell például nagy számítási teljesítmény mellett akár 1000 dollárba is kerülhet feladatonként.

Ez a költségstruktúra azt mutatja, hogy még ha sikerül is technikai áttöréseket elérni, a gazdasági megvalósíthatóság továbbra is kulcsfontosságú tényező az AGI-technológiák széles körű alkalmazásához.

Milyen filozófiai következményei vannak az ARC-AGI eredményeinek?

Az eredmények alapvető kérdéseket vetnek fel az intelligencia természetével kapcsolatban. A benchmark azt mutatja, hogy alapvető különbség van a minták memorizálása és a valódi megértés között.

Az a tény, hogy az emberek ezeket a feladatokat könnyedén megoldják, míg a mesterséges intelligencia rendszerei kudarcot vallanak, arra utal, hogy az emberi intelligencia minőségileg másképp működik, mint a jelenlegi mesterséges intelligencia megközelítések. Ez alátámasztja Chollet azon érvelését, miszerint az AGI többet igényel, mint pusztán nagyobb modelleket és több adatot.

Hogyan befolyásolja az ARC-AGI a mesterséges intelligencia kutatásának irányát?

A referenciaérték máris a mesterséges intelligencia kutatásának újragondolásához vezetett. Ahelyett, hogy kizárólag a skálázási modellekre összpontosítanának, a vezető laboratóriumok most alternatív megközelítéseket vizsgálnak, mint például a tesztidőszakos számítás és az adaptív rendszerek.

Ez a változás a beruházásokban is tükröződik: a vállalatok egyre inkább a hatékonyabb érveléssel és problémamegoldással kapcsolatos kutatásokba fektetnek be ahelyett, hogy egyre nagyobb képzéseket hajtanának végre.

Milyen szerepet játszik a nyílt forráskódú közösség?

Az ARC Prize Foundation hangsúlyozza a nyílt forráskódú fejlesztés fontosságát az AGI fejlődése szempontjából. Minden verseny győztesének nyilvánosan elérhetővé kell tennie megoldásait.

Ez a filozófia azon a meggyőződésen alapul, hogy az AGI túl fontos ahhoz, hogy kizárólag zárt laboratóriumokban fejlesszék. Az Alapítvány egy együttműködő, átlátható kutatói közösség katalizátorának tekinti magát.

Milyen korlátai vannak az ARC-AGI benchmarknak?

Fontossága ellenére az ARC-AGI-nak korlátai is vannak. Chollet maga is hangsúlyozza, hogy a teszt sikeres teljesítése nem szinonimája az AGI elérésének. A benchmark az intelligencia csak egy aspektusát méri – az absztrakt problémák megoldásának képességét.

Más fontos szempontokat, mint például a kreativitás, az érzelmi intelligencia vagy a hosszú távú tervezés, nem értékelnek. Továbbá fennáll annak a veszélye, hogy kifejezetten az ARC-AGI-re optimalizált rendszereket fejlesztenek ki, amelyek átmennek a teszten anélkül, hogy valójában általánosságban intelligensek lennének.

Hogyan alakulnak az AI-modellek költségei az ARC-AGI kontextusában?

A költségek alakulása érdekes trendeket tár fel. Míg a teljesítmény csak lassan növekszik, a marginális fejlesztések költségei robbanásszerűen nőnek.

Ez a költségdinamika fontos felismeréshez vezet: a hatékonyság válik a döntő megkülönböztető tényezővé. Az ARC-díj Alapítvány hangsúlyozza, hogy nemcsak a pontosság, hanem a megoldott problémánkénti költség is döntő kritérium.

Mit jelent az ARC-AGI a munka jövője szempontjából?

Az eredmények megnyugtató következményekkel járnak számos szakma számára. A mesterséges intelligencia rendszereinek képtelensége az alapvető gondolkodási feladatok megoldására azt mutatja, hogy az emberi kognitív képességek messze nem pótlódtak.

Ugyanakkor a speciális feladatok terén elért eredmények arra utalnak, hogy a mesterséges intelligencia továbbra is az emberi munka támogatására szolgáló eszközként fog szolgálni, ahelyett, hogy teljesen helyettesítené azt.

Milyen új kutatási megközelítések születnek az ARC-AGI-ból?

A referenciaérték számos innovatív kutatási irányt inspirált:

Programszintézis

Olyan rendszerek, amelyek problémák megoldására programokat generálnak.

Neuroszimbolikus megközelítések

Neurális hálózatok kombinációja szimbolikus gondolkodással.

Többágenses rendszerek

Több szakosodott ügynök dolgozik együtt.

Evolúciós algoritmusok

Olyan rendszerek, amelyek evolúció útján fejlesztik ki a megoldásokat.

Mi az ARC-díj Alapítvány jövőképe?

Az Alapítvány egyértelmű küldetést követ: a nyílt mesterséges intelligencia fejlesztésének „sarkcsillagaként” szolgálni. Ez nemcsak a technikai referenciaértékeket foglalja magában, hanem egy olyan ökoszisztéma létrehozását is, amely elősegíti az innovációt, miközben biztosítja, hogy az AGI fejlődése az egész emberiség javát szolgálja.

Az új benchmark verziók folyamatos fejlesztése biztosítja, hogy a léc folyamatosan magasabb legyen, és a kutatás ne stagnáljon. Az ARC-AGI-3 és a jövőbeli verziók esetében az Alapítvány célja, hogy tovább vizsgálja a mesterséges intelligencia képességeinek határait és azt, hogy miben hiányos még.

☑️ KKV-támogatás a stratégiában, tanácsadásban, tervezésben és megvalósításban

☑️ A mesterséges intelligencia stratégiájának létrehozása vagy átalakítása

☑️ Úttörő üzletfejlesztés

 

Örömmel lennék az Ön személyes tanácsadója.

Kapcsolatba léphet velem az alábbi kapcsolatfelvételi űrlap kitöltésével, vagy egyszerűen hívjon a +49 7348 4088 965 .

Alig várom a közös projektünket.

 

 

Az Xpert.Digital egy iparági központ, amely a digitalizációra, a gépészetre, a logisztikára/intralogisztikára és a fotovoltaikus elemekre összpontosít.

360°-os üzletfejlesztési megoldásunkkal elismert vállalatokat támogatunk az új üzletektől az értékesítés utáni szolgáltatásokig.

Piackutatás, smarketing, marketingautomatizálás, tartalomfejlesztés, PR, levelezési kampányok, személyre szabott közösségi média és érdeklődőgondozás digitális eszközeink részét képezik.

További információkat a következő weboldalakon talál: www.xpert.digital - www.xpert.solar - www.xpert.plus