Yapay Zeka Modelleri ARC kıyaslamasında yapay zeka karşılaştırması: GPT-5, Grok ve o3

ARC-AGI kıyaslaması nedir ve neden geliştirilmiştir?

ARC-AGI kıyaslaması, François Chollet tarafından 2019 yılında geliştirilen, yapay zeka sistemlerinin genel zekasını ölçmek için bir dizi testtir. ARC, "Yapay Genel Zeka için Soyutlama ve Muhakeme Derlemi" anlamına gelir. Kıyaslama, yapay zeka sistemlerinin açıkça eğitilmediği yeni görevleri anlama ve çözme becerilerini değerlendirmek için oluşturulmuştur.

Kıyaslama ölçütünün geliştirilmesi, Chollet'nin çığır açan "Zekanın Ölçülmesi Üzerine" makalesindeki zekâ tanımına dayanmaktadır. Chollet, gerçek zekânın belirli görevlerde ustalaşmakta değil, yeni beceriler edinme verimliliğinde yattığını savunmaktadır. Test, yapay zekâ sistemlerinin temel dönüşüm kurallarını tanıması ve bunları yeni örneklere uygulaması gereken renkli ızgaralara sahip görsel bulmacalardan oluşmaktadır.

ARC-AGI diğer yapay zeka kıyaslamalarından nasıl farklılaşıyor?

Genellikle ön bilgilere veya ezberlenmiş kalıplara dayanan geleneksel yapay zekâ testlerinin aksine, ARC-AGI, nesne kalıcılığı, sayma ve uzamsal anlayış gibi – bilişsel beceriler olan "temel bilgi ön bilgilerine" odaklanır. Bu beceriler genellikle dört yaşına kadar edinilir.

Temel fark, ARC-AGI'nin salt ezberleme veya veri enterpolasyonu yoluyla çözülebilecek şekilde tasarlanmış olmasıdır. Kıyaslama testindeki her görev benzersizdir ve test için özel olarak geliştirilmiştir, bu nedenle çevrimiçi örneklerinin bulunmaması gerekir. Bu, testi büyük miktarda eğitim verisine dayanan yapay zeka sistemlerinin alışılmış stratejilerine karşı dirençli kılar.

ARC-AGI kıyaslamasının farklı versiyonları nelerdir?

Şu anda kıyaslamanın üç ana versiyonu bulunmaktadır:

ARC-AGI-1

Statik görsel bulmacalardan oluşan orijinal 2019 versiyonunda, insanların ortalama %95'e ulaştığı belirtilirken, çoğu yapay zeka sisteminin başarısı uzun zamandır %5'in altındaydı.

ARC-AGI-2

2025 yılında piyasaya sürülen bu geliştirilmiş sürüm, modern akıl yürütme sistemlerine bile meydan okumak için özel olarak tasarlanmıştır. İnsanlar neredeyse %100 performans elde etmeye devam ederken, gelişmiş yapay zeka modelleri bile görevlerin yalnızca %10-20'sini gerçekleştirebilmektedir.

ARC-AGI-3

Geliştirme aşamasında olan en son sürüm, etkileşimli öğeler sunuyor. Yapay zeka ajanları, statik bulmacalar yerine, tıpkı insanların yeni ortamları keşfetmesi gibi, bir ızgara dünyasında keşif ve deneme yanılma yoluyla öğrenmek zorunda.

Farklı yapay zeka modelleri ARC-AGI testlerinde nasıl performans gösteriyor?

Farklı yapay zeka modelleri arasındaki performans farklılıkları önemlidir:

ARC-AGI-1'de Grok 4 yaklaşık %68 başarıya ulaşırken, GPT-5 %65,7'de kalıyor. Görev başına maliyet Grok 4 için yaklaşık 1 dolar, GPT-5 için ise 0,51 dolar.

Daha zor olan ARC-AGI-2 testinde ise performans önemli ölçüde düşüyor: GPT-5, görev başına 0,73 dolarlık bir maliyetle yalnızca %9,9'luk bir başarıya ulaşırken, Grok 4 (Düşünme) yaklaşık %16'lık bir performansla daha iyi performans gösteriyor, ancak maliyeti 2-4 dolar gibi önemli ölçüde daha yüksek.

Beklendiği gibi, daha ucuz model varyantları daha zayıf performans gösteriyor: GPT-5 Mini, AGI-1'de %54,3 ve AGI-2'de %4,4'e ulaşırken, GPT-5 Nano sırasıyla yalnızca %16,5 ve %2,5'e ulaşabiliyor.

O3 önizleme modelinin sırrı nedir?

OpenAI'nin o3 önizleme modeli özel bir durumu temsil ediyor. Aralık 2024'te, kullanılan işlem gücüne bağlı olarak ARC-AGI-1'de %75,7'den %87,5'e kadar etkileyici bir performans elde etti. Bu, bir yapay zeka sisteminin %85'lik insan performans eşiğini aştığı ilk seferdi.

Ancak önemli bir sınırlama var: o3'ün herkese açık sürümü, orijinal önizleme sürümünden önemli ölçüde daha kötü performans gösteriyor. ARC Ödülü'ne göre, o3'ün yayınlanan sürümü, önizleme sürümünün %76-88'lik performansına kıyasla, ARC-AGI-1'de yalnızca %41 (düşük işlem gücü) ve %53 (orta işlem gücü) performans elde edebiliyor.

OpenAI, yayınlanan modelin farklı ve daha küçük bir mimariye sahip olduğunu ve sohbet ve ürün uygulamaları için optimize edildiğini doğruladı. Bu tutarsızlık, modelin gerçek yetenekleri hakkında soru işaretleri doğuruyor ve yayınlanmamış modellerden elde edilen kıyaslama sonuçlarının eleştirel bir şekilde incelenmesinin önemini vurguluyor.

ARC Ödülü yarışması nasıl işliyor?

ARC Ödülü, AGI'ye doğru açık kaynaklı ilerlemeyi teşvik etmeyi amaçlayan, toplam ödül fonu bir milyon ABD dolarını aşan yıllık bir yarışmadır. 2025 yarışması, 26 Mart - 3 Kasım tarihleri arasında Kaggle platformunda düzenlenecektir.

Fiyatlandırma yapısı şunları içerir:

• Büyük Ödül (700.000 ABD Doları): Bir ekip özel değerlendirme veri setinde %85 doğruluk oranına ulaştığında açılır
• En Yüksek Puan Ödülü (75.000 ABD Doları): En yüksek puana sahip takımlar için
• Makale Ödülü (50.000 ABD Doları): En önemli kavramsal ilerlemeler için
• Ek Ödüller (175.000 USD): Ek kategoriler duyurulacak

Daha da önemlisi, tüm kazananların çözümlerini açık kaynak olarak yayınlamaları gerekmektedir. Bu, ARC Ödül Vakfı'nın AGI gelişmelerini tüm araştırma topluluğuna erişilebilir kılma misyonuyla uyumludur.

ARC-AGI kıyaslamasının teknik zorlukları nelerdir?

ARC-AGI'deki görevler, insanlar için doğal olan ancak yapay zeka sistemleri için son derece zor olan çeşitli bilişsel beceriler gerektirir:

Sembol yorumlaması

Yapay zekanın soyut sembolleri anlaması ve anlamlarını bağlamdan çıkarması gerekiyor.

Çok düzeyli kompozisyon düşüncesi

Problemler alt adımlara bölünerek sırayla çözülmelidir.

Bağlam bağımlı kural uygulaması

Aynı kuralın, bağlama göre farklı şekillerde uygulanması gerekebilir.

Birkaç örnekten genelleme

Genellikle, dönüşüm kuralının türetilmesi gereken yalnızca 2-3 gösterim çifti mevcuttur.

ARC-AGI'nin çözümünde test zamanı eğitiminin rolü nedir?

Test zamanı eğitimi (TTT), ARC-AGI performansını iyileştirmek için umut verici bir yaklaşım olduğunu kanıtlamıştır. Bu yöntem, yalnızca önceden eğitilmiş bilgiye güvenmek yerine, çıkarım sırasında model parametrelerini mevcut giriş verilerine dinamik olarak uyarlar.

MIT araştırmacıları, TTT'nin ARC-AGI'deki dil modellerinin performansını önemli ölçüde iyileştirdiğini gösterdi. Bu yöntem, modellerin görev çözme sırasında uyum sağlamasını ve belirli örneklerden öğrenmesini sağlıyor. Bu, zor problemlere daha fazla zaman harcadığımız insan problem çözme davranışını taklit ediyor.

Ki-Gamechanger: En esnek AI platformu – maliyetleri azaltan, kararlarını artıran ve verimliliği artıran özel yapım çözümler

Bağımsız AI Platformu: Tüm ilgili şirket veri kaynaklarını entegre eder

• Hızlı AI Entegrasyonu: Şirketler için aylar yerine saatler veya günler içinde özel yapım AI çözümleri
• Esnek Altyapı: Bulut tabanlı veya kendi veri merkezinizde barındırma (Almanya, Avrupa, ücretsiz konum seçimi)

• En Yüksek Veri Güvenliği: Hukuk firmalarında kullanmak güvenli kanıttır
• Çok çeşitli şirket veri kaynaklarında kullanın
• Kendi veya çeşitli AI modellerinizin seçimi (DE, AB, ABD, CN)

Bununla ilgili daha fazla bilgiyi burada bulabilirsiniz:

• Bağımsız yapay zeka platformları ve hiper ölçekleyiciler: Hangi çözüm sizin için doğru?

Sonuçlar AGI gelişimi açısından ne anlama geliyor?

Sonuçlar, insan ve yapay zekâ arasında belirgin bir fark olduğunu ortaya koyuyor. İnsanlar ARC-AGI görevlerini sezgisel olarak çözerken, en son teknoloji ürünü yapay zekâ sistemleri bile temel akıl yürütme görevlerinde başarısız oluyor.

François Chollet, mevcut yapay zeka geliştirme paradigmasının – daha fazla veriyle giderek daha büyük modelleri eğitmek – sınırlarına ulaştığını savunuyor. Katlanarak artan model boyutuna rağmen ARC-AGI'deki zayıf sonuçlar, ona göre "akışkan zekanın ön eğitimin ölçeklendirilmesinden kaynaklanmadığını" kanıtlıyor.

Gelecek, modellerin yeni durumlara uyum sağlamak için çalışma zamanında kendi durumlarını değiştirebildiği test zamanı uyarlaması gibi yeni yaklaşımlarda yatıyor olabilir.

ARC-AGI kıyaslamasının geleceği nasıl görünüyor?

ARC Ödül Vakfı, kıyaslama ölçütünü sürekli olarak geliştirmeyi planlıyor. Etkileşimli öğeler içeren ARC-AGI-3'ün 2026 yılında tam sürümü yayınlanması planlanıyor ve yaklaşık 100 benzersiz ortam içerecek.

Vakfın amacı, Yapay Zeka (YZ) gelişimi için bir "kutup yıldızı" görevi görecek ölçütler geliştirmektir. Bu, yalnızca ilerlemeyi ölçmeyi değil, aynı zamanda araştırmaları gerçek genel zekâya yol açabilecek yönlere yönlendirmeyi de amaçlamaktadır.

Referans performansının ekonomik etkileri nelerdir?

ARC-AGI görevlerini çözmenin maliyeti modeller arasında büyük farklılıklar gösterir ve pratik uygulanabilirliği doğrudan etkiler.

Basit görevler yüzdelik API maliyetleriyle çözülebilirken, karmaşık akıl yürütme görevlerinin maliyetleri hızla artmaktadır. Örneğin, o3 modeli, yüksek işlem gücünde görev başına 1.000 dolara kadar maliyete sahip olabilir.

Bu maliyet yapısı, teknik atılımlar gerçekleştirilse bile, AGI teknolojilerinin yaygın olarak benimsenmesi için ekonomik uygulanabilirliğin önemli bir faktör olmaya devam ettiğini göstermektedir.

ARC-AGI sonuçlarının felsefi çıkarımları nelerdir?

Sonuçlar, zekânın doğası hakkında temel soruları gündeme getiriyor. Ölçüt, kalıpları ezberlemek ile gerçek anlayış arasında temel bir fark olduğunu gösteriyor.

İnsanların bu görevleri zahmetsizce çözerken yapay zeka sistemlerinin başarısız olması, insan zekasının mevcut yapay zeka yaklaşımlarından niteliksel olarak farklı işlediğini göstermektedir. Bu durum, Chollet'nin yapay zekanın yalnızca daha büyük modeller ve daha fazla veri gerektirdiği yönündeki argümanını desteklemektedir.

ARC-AGI yapay zeka araştırmalarını nasıl etkiliyor?

Bu kıyaslama, yapay zeka araştırmalarında yeniden düşünmeye yol açtı. Önde gelen laboratuvarlar, yalnızca ölçeklenebilir modellere odaklanmak yerine, test zamanlı hesaplama ve uyarlanabilir sistemler gibi alternatif yaklaşımları araştırıyor.

Bu değişim yatırımlara da yansıyor: Şirketler, giderek daha büyük eğitim çalışmaları yapmak yerine, daha verimli akıl yürütme ve problem çözme üzerine araştırmalara giderek daha fazla yatırım yapıyor.

Açık kaynak topluluğunun rolü nedir?

ARC Ödül Vakfı, AGI (Yapay Zeka) alanındaki gelişmeler için açık kaynaklı geliştirmenin önemini vurgulamaktadır. Tüm yarışma kazananlarının çözümlerini kamuya açık hale getirmeleri gerekmektedir.

Bu felsefe, AGI'nin yalnızca kapalı laboratuvarlarda geliştirilemeyecek kadar önemli olduğu inancına dayanmaktadır. Vakıf, kendisini iş birliğine dayalı ve şeffaf bir araştırma topluluğunun katalizörü olarak görmektedir.

ARC-AGI kıyaslamasının sınırlamaları nelerdir?

Önemine rağmen, ARC-AGI'nin de sınırlamaları var. Chollet, testi geçmenin AGI'ye ulaşmak anlamına gelmediğini vurguluyor. Bu kıstas, zekânın yalnızca bir yönünü ölçüyor – soyut problemleri çözme yeteneği.

Yaratıcılık, duygusal zekâ veya uzun vadeli planlama gibi diğer önemli unsurlar ölçülmemektedir. Dahası, ARC-AGI için özel olarak optimize edilmiş sistemlerin genel olarak gerçekten zeki olmasalar bile testi geçme riski bulunmaktadır.

ARC-AGI bağlamında yapay zeka modellerinin geliştirilmesinin maliyetleri nasıldır?

Maliyet trendleri ilginç eğilimler gösteriyor. Performans artışı yavaş olsa da, marjinal iyileştirmelerin maliyetleri hızla artıyor.

Bu maliyet dinamiği önemli bir noktaya işaret ediyor: Verimlilik, temel fark yaratan unsur haline geliyor. ARC Ödül Vakfı, yalnızca doğruluğun değil, aynı zamanda çözülen görev başına maliyetin de önemli bir kriter olduğunu vurguluyor.

ARC-AGI işin geleceği açısından ne anlama geliyor?

Sonuçlar birçok meslek için güven verici sonuçlar doğuruyor. Yapay zekâ sistemlerinin temel akıl yürütme görevlerini çözememesi, insan bilişsel yeteneklerinin yerini hiçbir şeyin alamayacağını gösteriyor.

Aynı zamanda, uzmanlaşmış görevlerdeki ilerleme, yapay zekanın insan işini tamamen değiştirmek yerine, onu destekleyen bir araç olarak hizmet etmeye devam edeceğini gösteriyor.

ARC-AGI ile hangi yeni araştırma yaklaşımları ortaya çıkıyor?

Bu kıyaslama, çeşitli yenilikçi araştırma alanlarına ilham kaynağı olmuştur:

Program Sentezi

Sorunları çözmek için programlar üreten sistemler.

Nörosembolik yaklaşımlar

Sinir ağlarının sembolik akıl yürütmeyle birleşimi.

Çoklu ajan sistemleri

Birkaç uzman ajan birlikte çalışır.

Evrimsel algoritmalar

Çözümleri evrimsel bir şekilde geliştiren sistemler.

ARC Ödül Vakfı'nın geleceğe yönelik vizyonu nedir?

Vakfın net bir misyonu var: Açık Yapay Zeka (AGI) gelişiminde bir "Kutup Yıldızı" olmak. Bu sadece teknik kıstaslar belirlemekle ilgili değil, aynı zamanda AGI ilerlemelerinin tüm insanlığa fayda sağlamasını garanti altına alırken inovasyonu teşvik eden bir ekosistem yaratmakla da ilgili.

Yeni referans sürümlerinin sürekli geliştirilmesi, çıtanın sürekli yükseltilmesini ve araştırmaların durgunlaşmamasını sağlamayı amaçlamaktadır. Vakıf, ARC-AGI-3 ve gelecek sürümlerle, yapay zekanın neler yapabileceğinin ve hala nelerden yoksun olduğunun sınırlarını daha da keşfetmeyi amaçlamaktadır.

☑️ Strateji, danışmanlık, planlama ve uygulama konularında KOBİ desteği

AI stratejisinin yaratılması veya yeniden düzenlenmesi

☑️ Öncü İş Geliştirme

 

Kişisel danışmanınız olarak hizmet etmekten mutluluk duyarım.

Aşağıdaki iletişim formunu doldurarak benimle iletişime geçebilir veya +49 89 89 674 804 (Münih) .

Ortak projemizi sabırsızlıkla bekliyorum.

 

 

Xpert.Digital, dijitalleşme, makine mühendisliği, lojistik/intralojistik ve fotovoltaik konularına odaklanan bir endüstri merkezidir.

360° iş geliştirme çözümümüzle, tanınmış firmalara yeni işlerden satış sonrasına kadar destek veriyoruz.

Pazar istihbaratı, pazarlama, pazarlama otomasyonu, içerik geliştirme, halkla ilişkiler, posta kampanyaları, kişiselleştirilmiş sosyal medya ve öncü yetiştirme dijital araçlarımızın bir parçasıdır.

Daha fazlasını bulabilirsiniz: www.xpert.digital – www.xpert.solar – www.xpert.plus