एआरसी बेंचमार्क पर एआई मॉडल की तुलना: जीपीटी-5 बनाम ग्रोक बनाम ओ3

ARC-AGI बेंचमार्क क्या है और इसे क्यों विकसित किया गया था?

ARC-AGI बेंचमार्क कृत्रिम बुद्धिमत्ता प्रणालियों की सामान्य बुद्धिमत्ता को मापने के लिए एक परीक्षण श्रृंखला है, जिसे 2019 में फ़्रांस्वा चोलेट द्वारा विकसित किया गया था। ARC का पूरा नाम "Abstraction and Reasoning Corpus for Artificial General Intelligence" है। इस बेंचमार्क को कृत्रिम बुद्धिमत्ता प्रणालियों की उन नए कार्यों को समझने और हल करने की क्षमता का मूल्यांकन करने के लिए बनाया गया था जिनके लिए उन्हें विशेष रूप से प्रशिक्षित नहीं किया गया था।.

इस बेंचमार्क का विकास चोलेट के उनके मौलिक शोधपत्र "बुद्धि के मापन पर" में दी गई बुद्धि की परिभाषा पर आधारित है। उनका तर्क है कि सच्ची बुद्धि विशिष्ट कार्यों में महारत हासिल करने में नहीं, बल्कि नए कौशल को कुशलतापूर्वक सीखने में निहित है। इस परीक्षण में रंगीन ग्रिड वाली दृश्य पहेलियाँ शामिल हैं, जहाँ एआई प्रणालियों को अंतर्निहित परिवर्तन नियमों की पहचान करनी होती है और उन्हें नए उदाहरणों पर लागू करना होता है।.

ARC-AGI अन्य AI बेंचमार्क से किस प्रकार भिन्न है?

परंपरागत एआई परीक्षणों के विपरीत, जो अक्सर पूर्व ज्ञान या याद किए गए पैटर्न पर निर्भर करते हैं, एआरसी-एजीआई तथाकथित "कोर नॉलेज प्रायर्स" पर केंद्रित है - जैसे कि वस्तु स्थायित्व, गिनती और स्थानिक तर्क जैसी मूलभूत संज्ञानात्मक क्षमताएं। ये क्षमताएं आमतौर पर मनुष्यों द्वारा लगभग चार वर्ष की आयु में प्राप्त की जाती हैं।.

सबसे महत्वपूर्ण अंतर इस तथ्य में निहित है कि ARC-AGI को विशेष रूप से इस तरह से डिज़ाइन किया गया है कि इसे केवल रटने या डेटा इंटरपोलेशन के माध्यम से हल करना असंभव है। बेंचमार्क में प्रत्येक कार्य अद्वितीय है और इसे विशेष रूप से परीक्षण के लिए विकसित किया गया है, इसलिए इसके कोई उदाहरण ऑनलाइन मौजूद नहीं होने चाहिए। यह परीक्षण को उन विशिष्ट AI प्रणालियों की रणनीतियों के प्रति प्रतिरोधी बनाता है जो बड़े प्रशिक्षण डेटासेट पर निर्भर करती हैं।.

ARC-AGI बेंचमार्क के विभिन्न संस्करण कौन-कौन से हैं?

अब बेंचमार्क के तीन मुख्य संस्करण हैं:

एआरसी-एजीआई-1

2019 के मूल संस्करण में स्थिर दृश्य पहेलियाँ शामिल हैं। मनुष्य इस खेल में औसतन 95% अंक प्राप्त करते हैं, जबकि अधिकांश एआई सिस्टम लंबे समय से 5% से कम अंक प्राप्त कर रहे हैं।.

एआरसी-एजीआई-2

यह उन्नत संस्करण 2025 में जारी किया गया था और इसे विशेष रूप से आधुनिक तर्क प्रणालियों के लिए भी चुनौती पेश करने के लिए डिज़ाइन किया गया है। जहां मनुष्य लगभग 100% सफलता प्राप्त करना जारी रखते हैं, वहीं उन्नत एआई मॉडल भी केवल 10-20% कार्यों को ही पूरा कर पाते हैं।.

एआरसी-एजीआई-3

नवीनतम संस्करण, जो अभी भी विकास के अधीन है, में इंटरैक्टिव तत्व शामिल किए गए हैं। स्थिर पहेलियों के बजाय, एआई एजेंटों को ग्रिड वाली दुनिया में अन्वेषण और परीक्षण एवं त्रुटि के माध्यम से सीखना होगा, ठीक उसी तरह जैसे मनुष्य नए वातावरण का अन्वेषण करते हैं।.

ARC-AGI परीक्षणों में विभिन्न AI मॉडल कैसा प्रदर्शन करते हैं?

विभिन्न एआई मॉडलों के प्रदर्शन में काफी अंतर है:

ARC-AGI-1 के लिए, Grok 4 लगभग 68% दक्षता हासिल करता है, जबकि GPT-5 65.7% दक्षता तक पहुँचता है। प्रति कार्य लागत Grok 4 के लिए लगभग US$1 और GPT-5 के लिए US$0.51 है।.

ARC-AGI-2, जो कि अधिक कठिन परीक्षण है, में प्रदर्शन में भारी गिरावट आती है: GPT-5 प्रति कार्य 0.73 डॉलर की लागत पर केवल 9.9% हासिल करता है, जबकि Grok 4 (सोच) लगभग 16% पर बेहतर प्रदर्शन करता है, लेकिन 2-4 डॉलर की काफी अधिक लागत पर।.

जैसा कि अपेक्षित था, सस्ते मॉडल वेरिएंट कमजोर प्रदर्शन दिखाते हैं: जीपीटी-5 मिनी एजीआई-1 पर 54.3% और एजीआई-2 पर 4.4% हासिल करता है, जबकि जीपीटी-5 नैनो क्रमशः केवल 16.5% और 2.5% तक ही पहुंचता है।.

o3 प्रीव्यू मॉडल के पीछे क्या रहस्य है?

ओपनएआई का o3 पूर्वावलोकन मॉडल एक विशेष उदाहरण है। दिसंबर 2024 में, इसने ARC-AGI-1 पर उपयोग की गई कंप्यूटिंग शक्ति के आधार पर 75.7% से 87.5% तक का प्रभावशाली प्रदर्शन हासिल किया। यह पहली बार था जब किसी कृत्रिम बुद्धिमत्ता प्रणाली ने मानव प्रदर्शन की 85% सीमा को पार किया था।.

हालांकि, एक महत्वपूर्ण सीमा है: o3 का सार्वजनिक रूप से उपलब्ध संस्करण मूल पूर्वावलोकन संस्करण की तुलना में काफी खराब प्रदर्शन करता है। ARC Prize के अनुसार, जारी किया गया o3 ARC-AGI-1 पर केवल 41% (कम कंप्यूट) और 53% (मध्यम कंप्यूट) प्रदर्शन प्राप्त करता है, जबकि पूर्वावलोकन संस्करण 76-88% प्रदर्शन प्राप्त करता है।.

ओपनएआई ने पुष्टि की है कि प्रकाशित मॉडल का आर्किटेक्चर अलग और छोटा है और इसे चैट और उत्पाद अनुप्रयोगों के लिए अनुकूलित किया गया है। यह विसंगति इसकी वास्तविक क्षमताओं पर सवाल उठाती है और अप्रकाशित मॉडलों से प्राप्त बेंचमार्क परिणामों का सावधानीपूर्वक मूल्यांकन करने के महत्व को उजागर करती है।.

एआरसी पुरस्कार प्रतियोगिता कैसे काम करती है?

एआरसी पुरस्कार एक वार्षिक प्रतियोगिता है जिसमें कुल दस लाख अमेरिकी डॉलर से अधिक की पुरस्कार राशि दी जाती है। इसका उद्देश्य एजीआई (एक्टिवली जेनेरिक आर्किटेक्चर) की दिशा में ओपन-सोर्स प्रगति को बढ़ावा देना है। वर्तमान 2025 प्रतियोगिता 26 मार्च से 3 नवंबर तक कैगल प्लेटफॉर्म पर आयोजित की जा रही है।.

मूल्य निर्धारण संरचना में निम्नलिखित शामिल हैं:

• ग्रैंड प्राइज (700,000 अमेरिकी डॉलर): यह पुरस्कार तब अनलॉक होता है जब कोई टीम निजी मूल्यांकन डेटासेट पर 85% सटीकता हासिल कर लेती है।
• सर्वश्रेष्ठ स्कोर का पुरस्कार (75,000 अमेरिकी डॉलर): सबसे अधिक स्कोर वाली टीमों के लिए।
• पेपर पुरस्कार (50,000 अमेरिकी डॉलर): सबसे महत्वपूर्ण वैचारिक प्रगति के लिए
• अन्य पुरस्कार (175,000 अमेरिकी डॉलर): अतिरिक्त श्रेणियों की घोषणा जल्द ही की जाएगी।

यह महत्वपूर्ण है कि सभी विजेता अपने समाधानों को ओपन सोर्स के रूप में प्रकाशित करें। यह एआरसी प्राइज फाउंडेशन के उस मिशन के अनुरूप है जिसके तहत एजीआई में हुई प्रगति को संपूर्ण अनुसंधान समुदाय के लिए सुलभ बनाना है।.

ARC-AGI बेंचमार्क की तकनीकी चुनौतियाँ क्या हैं?

ARC-AGI में कार्यों के लिए कई संज्ञानात्मक क्षमताओं की आवश्यकता होती है जो मनुष्यों के लिए तो स्वाभाविक हैं लेकिन एआई प्रणालियों के लिए अत्यंत कठिन हैं:

प्रतीक व्याख्या

कृत्रिम बुद्धिमत्ता को अमूर्त प्रतीकों को समझना चाहिए और संदर्भ से उनका अर्थ निकालना चाहिए।.

बहुस्तरीय रचनात्मक चिंतन

समस्याओं को उप-चरणों में विभाजित करके क्रमबद्ध तरीके से हल किया जाना चाहिए।.

संदर्भ-निर्भर नियम अनुप्रयोग

संदर्भ के आधार पर एक ही नियम को अलग-अलग तरीके से लागू करने की आवश्यकता हो सकती है।.

कुछ उदाहरणों से सामान्यीकरण

सामान्यतः, केवल 2-3 प्रदर्शन जोड़े ही उपलब्ध होते हैं जिनसे रूपांतरण नियम प्राप्त किया जाना चाहिए।.

ARC-AGI की समस्या को हल करने में टेस्ट-टाइम ट्रेनिंग की क्या भूमिका होती है?

टेस्ट-टाइम ट्रेनिंग (TTT) ARC-AGI पर प्रदर्शन में सुधार के लिए एक आशाजनक दृष्टिकोण साबित हुआ है। यह विधि पूर्व-प्रशिक्षित ज्ञान पर पूरी तरह निर्भर रहने के बजाय, अनुमान के दौरान वर्तमान इनपुट डेटा के अनुसार मॉडल मापदंडों को गतिशील रूप से समायोजित करती है।.

एमआईटी के शोधकर्ताओं ने दिखाया है कि टीटीटी (TTT) विधि एआरसी-एजीआई पर भाषा मॉडलों के प्रदर्शन में उल्लेखनीय सुधार करती है। यह विधि मॉडलों को कार्य हल करने के दौरान अनुकूलन करने और विशिष्ट उदाहरणों से सीखने की अनुमति देती है। यह मानव समस्या-समाधान व्यवहार की नकल करता है, जहां हम कठिन समस्याओं पर अधिक समय व्यतीत करते हैं।.

एआई गेम चेंजर: सबसे लचीला एआई प्लेटफॉर्म - लागत कम करने, निर्णय लेने की क्षमता बढ़ाने और दक्षता बढ़ाने वाले अनुकूलित समाधान

स्वतंत्र एआई प्लेटफॉर्म: कंपनी के सभी प्रासंगिक डेटा स्रोतों को एकीकृत करता है

• तेज़ एआई एकीकरण: व्यवसायों के लिए अनुकूलित एआई समाधान महीनों के बजाय घंटों या दिनों में उपलब्ध।
• लचीला अवसंरचना: क्लाउड-आधारित या आपके अपने डेटा सेंटर में होस्टिंग (जर्मनी, यूरोप, स्थान चुनने की पूरी छूट)

• अधिकतम डेटा सुरक्षा: कानूनी फर्मों में इसका उपयोग अकाट्य प्रमाण है।
• विभिन्न प्रकार के एंटरप्राइज़ डेटा स्रोतों में तैनाती
• स्वयं के या विभिन्न एआई मॉडल (जर्मनी, यूरोपीय संघ, अमेरिका, चीन) में से किसी एक को चुनने का विकल्प।

अधिक जानकारी यहाँ:

• स्वतंत्र एआई प्लेटफॉर्म बनाम हाइपरस्केलर: कौन सा समाधान सबसे उपयुक्त है?

एजीआई के विकास के लिए इन परिणामों का क्या महत्व है?

परिणामों से मानव और कृत्रिम बुद्धिमत्ता के बीच एक महत्वपूर्ण अंतर का पता चलता है। जहां मनुष्य ARC-AGI कार्यों को सहज रूप से हल कर लेते हैं, वहीं सबसे उन्नत AI प्रणालियां भी बुनियादी संज्ञानात्मक कार्यों में विफल हो जाती हैं।.

फ़्रांस्वा चोलेट का तर्क है कि कृत्रिम बुद्धिमत्ता के विकास का वर्तमान प्रतिमान—अधिक डेटा के साथ लगातार बड़े मॉडल को प्रशिक्षित करना—अपनी सीमा तक पहुँच चुका है। उनके विचार में, मॉडल के आकार में घातीय वृद्धि के बावजूद ARC-AGI पर मिले निराशाजनक परिणाम यह साबित करते हैं कि "प्री-ट्रेनिंग को बढ़ाने से तरल बुद्धिमत्ता उत्पन्न नहीं होती।".

भविष्य में टेस्ट-टाइम एडैप्टेशन जैसे नए दृष्टिकोणों में संभावनाएं निहित हो सकती हैं, जहां मॉडल रनटाइम पर अपनी स्थिति को बदलकर नई स्थितियों के अनुकूल हो सकते हैं।.

ARC-AGI बेंचमार्क का भविष्य कैसा दिखता है?

एआरसी प्राइज फाउंडेशन बेंचमार्क के निरंतर विकास की योजना बना रहा है। इंटरैक्टिव तत्वों से युक्त एआरसी-एजीआई-3 को 2026 में पूर्ण रूप से जारी करने की योजना है और इसमें लगभग 100 अद्वितीय वातावरण शामिल होंगे।.

इस फाउंडेशन का उद्देश्य ऐसे मानदंड विकसित करना है जो एजीआई विकास के लिए एक मार्गदर्शक के रूप में कार्य करेंगे। इसमें न केवल प्रगति का मापन शामिल है, बल्कि अनुसंधान को उन दिशाओं में निर्देशित करना भी शामिल है जो वास्तविक सामान्य बुद्धिमत्ता की ओर ले जा सकती हैं।.

मानक प्रदर्शन के आर्थिक निहितार्थ क्या हैं?

एआरसी-एजीआई समस्याओं को हल करने की लागत विभिन्न मॉडलों के बीच बहुत भिन्न होती है और इसका व्यावहारिक प्रयोज्यता पर सीधा प्रभाव पड़ता है।.

सरल कार्यों को API की लागत लगभग कुछ प्रतिशत में हल किया जा सकता है, लेकिन जटिल तर्क संबंधी कार्यों की लागत तेजी से बढ़ती है। उदाहरण के लिए, o3 मॉडल में उच्च कंप्यूटिंग क्षमता के साथ प्रति कार्य 1,000 डॉलर तक की लागत आ सकती है।.

यह लागत संरचना दर्शाती है कि तकनीकी सफलताएँ प्राप्त होने के बावजूद, एजीआई प्रौद्योगिकियों के व्यापक अनुप्रयोग के लिए आर्थिक व्यवहार्यता एक महत्वपूर्ण कारक बनी हुई है।.

एआरसी-एजीआई परिणामों के दार्शनिक निहितार्थ क्या हैं?

इन परिणामों से बुद्धिमत्ता की प्रकृति के बारे में मूलभूत प्रश्न उठते हैं। यह मानदंड दर्शाता है कि पैटर्न को याद करने और वास्तविक समझ के बीच एक मौलिक अंतर है।.

मनुष्य इन कार्यों को सहजता से हल कर लेते हैं, जबकि एआई प्रणालियाँ विफल हो जाती हैं, यह इस बात का संकेत है कि मानवीय बुद्धिमत्ता वर्तमान एआई दृष्टिकोणों से गुणात्मक रूप से भिन्न है। यह चोलेट के इस तर्क का समर्थन करता है कि एआईजीआई को केवल बड़े मॉडल और अधिक डेटा से कहीं अधिक की आवश्यकता है।.

एआरसी-एजीआई कृत्रिम बुद्धिमत्ता अनुसंधान की दिशा को किस प्रकार प्रभावित करता है?

इस बेंचमार्क ने एआई अनुसंधान में पुनर्विचार को जन्म दिया है। मॉडल को स्केल करने पर ही ध्यान केंद्रित करने के बजाय, अग्रणी प्रयोगशालाएं अब टेस्ट-टाइम कंप्यूट और अनुकूली प्रणालियों जैसे वैकल्पिक दृष्टिकोणों की खोज कर रही हैं।.

यह बदलाव निवेश में भी परिलक्षित होता है: कंपनियां बड़े पैमाने पर प्रशिक्षण सत्रों के बजाय अधिक कुशल तर्क और समस्या-समाधान पर शोध में अधिक निवेश कर रही हैं।.

ओपन-सोर्स समुदाय की क्या भूमिका है?

एआरसी प्राइज फाउंडेशन एजीआई की प्रगति के लिए ओपन-सोर्स डेवलपमेंट के महत्व पर जोर देता है। प्रतियोगिता के सभी विजेताओं को अपने समाधान सार्वजनिक रूप से उपलब्ध कराने होंगे।.

यह दर्शन इस दृढ़ विश्वास पर आधारित है कि कृत्रिम आनुवंशिकी (एजीआई) इतनी महत्वपूर्ण है कि इसे केवल बंद प्रयोगशालाओं में विकसित नहीं किया जा सकता। फाउंडेशन स्वयं को एक सहयोगात्मक, पारदर्शी अनुसंधान समुदाय के उत्प्रेरक के रूप में देखता है।.

ARC-AGI बेंचमार्क की सीमाएँ क्या हैं?

इसके महत्व के बावजूद, एआरसी-एजीआई की कुछ सीमाएँ भी हैं। चोलेट स्वयं इस बात पर ज़ोर देते हैं कि परीक्षा उत्तीर्ण करना एजीआई प्राप्त करने के समानार्थक नहीं है। यह मानदंड बुद्धि के केवल एक पहलू को मापता है - अमूर्त समस्याओं को हल करने की क्षमता।.

रचनात्मकता, भावनात्मक बुद्धिमत्ता या दीर्घकालिक योजना जैसी अन्य महत्वपूर्ण पहलुओं का आकलन नहीं किया जाता है। इसके अलावा, यह जोखिम भी है कि ARC-AGI के लिए विशेष रूप से अनुकूलित प्रणालियाँ विकसित की जाएँगी जो वास्तव में सामान्य रूप से बुद्धिमान न होते हुए भी परीक्षण उत्तीर्ण कर लेंगी।.

ARC-AGI के संदर्भ में AI मॉडल की लागत किस प्रकार विकसित हो रही है?

लागत में हो रहे बदलाव दिलचस्प रुझान दिखाते हैं। हालांकि प्रदर्शन में वृद्धि धीमी गति से होती है, लेकिन मामूली सुधारों की लागत में तेजी से वृद्धि हो रही है।.

लागत की यह गतिशीलता एक महत्वपूर्ण अंतर्दृष्टि प्रदान करती है: दक्षता निर्णायक कारक बनती जा रही है। एआरसी पुरस्कार फाउंडेशन इस बात पर जोर देता है कि न केवल सटीकता, बल्कि हल की गई प्रत्येक समस्या की लागत भी एक महत्वपूर्ण मानदंड है।.

ARC-AGI का कार्य के भविष्य पर क्या प्रभाव पड़ेगा?

इन परिणामों से कई व्यवसायों के लिए सकारात्मक संकेत मिलते हैं। बुनियादी चिंतन कार्यों को हल करने में कृत्रिम बुद्धिमत्ता प्रणालियों की अक्षमता यह दर्शाती है कि मानव संज्ञानात्मक क्षमताओं को कृत्रिम बुद्धिमत्ता द्वारा प्रतिस्थापित किए जाने की संभावना बहुत कम है।.

साथ ही, विशिष्ट कार्यों में हुई प्रगति से पता चलता है कि एआई मानव कार्य को पूरी तरह से प्रतिस्थापित करने के बजाय, उसके समर्थन में एक उपकरण के रूप में काम करना जारी रखेगा।.

ARC-AGI से कौन से नए शोध दृष्टिकोण सामने आते हैं?

इस मानदंड ने कई नवीन अनुसंधान दिशाओं को प्रेरित किया है:

कार्यक्रम संश्लेषण

ऐसी प्रणालियाँ जो समस्याओं को हल करने के लिए प्रोग्राम उत्पन्न करती हैं।.

न्यूरोसिम्बॉलिक दृष्टिकोण

तंत्रिका नेटवर्क और प्रतीकात्मक तर्क का संयोजन।.

बहु-एजेंट प्रणालियाँ

कई विशेषज्ञ एजेंट मिलकर काम कर रहे हैं।.

विकासवादी एल्गोरिदम

वे प्रणालियाँ जो विकास के माध्यम से समाधान विकसित करती हैं।.

एआरसी प्राइज फाउंडेशन का भविष्य के लिए क्या दृष्टिकोण है?

फाउंडेशन का एक स्पष्ट लक्ष्य है: ओपन एजीआई के विकास के लिए एक मार्गदर्शक के रूप में कार्य करना। इसमें न केवल तकनीकी मानदंड स्थापित करना शामिल है, बल्कि एक ऐसा पारिस्थितिकी तंत्र बनाना भी शामिल है जो नवाचार को बढ़ावा दे और यह सुनिश्चित करे कि एजीआई की प्रगति से पूरी मानवता को लाभ मिले।.

नए बेंचमार्क संस्करणों का निरंतर विकास यह सुनिश्चित करने के लिए किया जाता है कि स्तर लगातार ऊंचा होता रहे और अनुसंधान में कोई ठहराव न आए। ARC-AGI-3 और इसके भविष्य के संस्करणों के साथ, फाउंडेशन का लक्ष्य कृत्रिम बुद्धिमत्ता की क्षमताओं की सीमाओं और इसमें मौजूद कमियों का और अधिक पता लगाना है।.

☑️ रणनीति, परामर्श, योजना और कार्यान्वयन में लघु एवं मध्यम उद्यमों (एसएमई) को सहायता प्रदान करना

☑️ एआई रणनीति का निर्माण या पुनर्गठन

☑️ अग्रणी व्यवसाय विकास

 

मुझे आपके निजी सलाहकार के रूप में सेवा करने में खुशी होगी।.

आप नीचे दिए गए संपर्क फ़ॉर्म को भरकर मुझसे संपर्क कर सकते हैं या सीधे मुझे +49 7348 4088 965 ।

मैं हमारी संयुक्त परियोजना के लिए उत्सुक हूं।.

 

 

Xpert.Digital एक ऐसा केंद्र है जो डिजिटलीकरण, मैकेनिकल इंजीनियरिंग, लॉजिस्टिक्स/इंट्रालॉजिस्टिक्स और फोटोवोल्टिक्स पर केंद्रित उद्योगों के लिए काम करता है।.

हमारे 360° बिजनेस डेवलपमेंट सॉल्यूशन के साथ, हम प्रतिष्ठित कंपनियों को नए कारोबार से लेकर बिक्री के बाद की सेवाओं तक में सहयोग प्रदान करते हैं।.

मार्केट इंटेलिजेंस, स्मार्ट मार्केटिंग, मार्केटिंग ऑटोमेशन, कंटेंट डेवलपमेंट, पीआर, मेल कैंपेन, पर्सनलाइज्ड सोशल मीडिया और लीड नर्चरिंग हमारे डिजिटल टूल्स का हिस्सा हैं।.

आप अधिक जानकारी इन वेबसाइटों पर पा सकते हैं: www.xpert.digital - www.xpert.solar - www.xpert.plus