AI Beyin Gibi Öğrenir: Zaman-Sakana AI ve sürekli thoug makine görüntüsü ile yapay zeka sistemleri için yeni bir yaklaşım öğrenmek: xpert.digital
İnsan Düşünmesi Yeni: Sakana Ai'den Yenilikçi CTM
Makine Düşüncesi 2.0: CTM neden bir kilometre taşıdır
Japon start-up Sakana AI'nın yeni “sürekli düşünce makinesi” (CTM), makine düşüncesi için merkezi bir mekanizma olarak nöronal aktivitenin zaman dinamiklerini oluşturarak AI araştırmalarında bir paradigma değişimini işaret ediyor. Bilgiyi bir turda işleyen geleneksel AI modellerinin aksine, CTM, daha çok insan beyninin işleyişine dayanan çok aşamalı bir düşünce sürecini simüle eder.
İçin uygun:
Zaman tabanlı düşüncenin devrimi
GPT-4 veya Lama 3 gibi geleneksel AI modelleri sırayla çalışırken, bir giriş girilirken, bir çıktı bu prensipten çıkışlara gider. Sistem, modelin dahili durumunun kademeli olarak geliştiği bir dahili zaman kavramı ile çalışır. Bu yaklaşım yinelemeli adaptasyon sağlar ve sadece bir tepkiden ziyade doğal bir düşünme süreci gibi bir süreç oluşturur.
Sakana Ai, "CTM, veri girişi ile ayrıştırılan çok 'dahili keneler', içsel bir zaman kavramı ile çalışıyor." "Bu, modelin görevleri çözerken hemen tek bir çalışmada karar vermek yerine birkaç adım 'düşünmesini' sağlar."
Bu yaklaşımın çekirdeği, temel bir temsil mekanizması olarak nöronal senkronizasyonun kullanımında yatmaktadır. Sakana AI, nöronlar arasındaki koordinasyonun önemli bir rol oynadığı biyolojik beyinlerin işlevselliğinden ilham aldı. Bu biyolojik ilham sadece bir metaforun ötesine geçer ve AI kalkınma felsefesinin temelini oluşturur.
Nöron düzeyinde modeller: teknik temeller
CTM, “nöron düzeyinde modeller” (NLMS) olarak adlandırılan karmaşık bir nöral mimariyi tanıtmaktadır. Her nöronun kendi ağırlık parametreleri vardır ve geçmiş aktivasyonların geçmişini takip eder. Bu tarihseller, nöronların zamandaki davranışını etkiler ve geleneksel yapay nöronal ağlardan daha dinamik işlemeyi mümkün kılar.
Düşünme süreci birkaç dahili adımda çalışır. İlk olarak, bir “sinaps modeli”, ilk sinyalleri oluşturmak için mevcut nöron durumlarını ve harici giriş verilerini işler-ön aktivasyonlar. Daha sonra, bireysel “nöron modelleri” bir sonraki durumlarını hesaplamak için bu sinyallerin tarihlerini kullanır.
Nöronlama durumları, nöronlar arasındaki senkronizasyon gücünü analiz etmek için zamanla kaydedilir. Bu senkronizasyon, modelin merkezi iç temsilini oluşturur. Ek bir dikkat mekanizması, sistemin giriş verilerinin ilgili bölümlerini seçmesini ve işleymesini sağlar.
Performans ve Pratik Testler
Bir dizi deneyde Sakana AI, CTM'nin performansını yerleşik mimarilerle karşılaştırdı. Sonuçlar, çeşitli uygulama alanlarında umut verici ilerleme göstermektedir:
Figür sınıflandırması ve görsel işçilik
İyi bilinen Imagenet-1K veri setinde CTM,% 72.47'lik ilk 1 doğruluk ve% 89.89'luk ilk 5 doğruluk elde etmektedir. Günümüz standartları için bu değerler en iyi değerleri temsil etmese de, Sakana AI bunun projenin birincil hedefi olmadığını vurgulamaktadır. Bunun nöral dinamikleri ImageNet sınıflandırması için bir temsil biçimi olarak kullanmaya yönelik ilk girişim olduğu dikkat çekicidir.
CIFAR 10 veri seti ile yapılan testlerde, CTM geleneksel modellerden biraz daha iyi durumda, tahminleri insan karar alma davranışına daha benziyor. CIFAR-10H'de CTM sadece 0.15'lik bir kalibrasyon hatası elde eder ve böylece hem insanları (0.22) hem de LSTM'leri (0.28) aşar.
Karmaşık problem çözme
64 uzunluğa sahip parite görevleri durumunda, CTM 75 çubukla% 100 etkileyici bir doğruluk elde ederken, LSTM'ler% 60'dan daha az maksimum 10 etkili çubukla sıkışıp kalır. Bir labirent deneyinde, model, bir rotanın kademeli olarak planlanmasına benzeyen,% 80, LSTM'lerde% 45'e ve yem ileri ağlarında sadece% 20'ye benzeyen davranış göstermiştir.
Model modeli, işleme derinliğini dinamik olarak uyarlamak için özellikle ilginçtir: basit görevler durumunda daha erken durur, daha karmaşık BT daha uzun hesaplanır. Bu, ek kayıp fonksiyonları olmadan çalışır ve mimarinin doğal bir özelliğidir.
Yorumlanabilirlik ve şeffaflık
CTM'nin olağanüstü bir özelliği onun yorumlanabilirliğidir. Görüntü işleme sırasında, dikkat kafaları, modelin “düşünme süreci” hakkında bir fikir veren sistematik olarak alakalı özellikleri tarar. Labirent deneylerinde, sistem, bir rotanın kademeli olarak planlanmasına benzeyen davranışlar gösterdi-geliştiricilere göre ortaya çıkan ve açıkça programlanmayan davranışlar.
Sakana AI, tarayıcıdaki bir CTM sisteminin 150 adımda bir labirentten çıktığını bulduğu etkileşimli bir demo bile sunuyor. Bu şeffaflık, karar verme süreci genellikle “kara kutu” olarak algılanan birçok modern AI sistemine göre önemli bir avantajdır.
İçin uygun:
Zorluklar ve sınırlamalar
Umut verici sonuçlara rağmen, CTM hala önemli zorluklarla karşı karşıya:
- Hesaplama çabası: Her dahili saat, LSTMS'ye kıyasla eğitim maliyetlerini yaklaşık üç kez artıran tam ileri çalışma gerektirir.
- Ölçeklenebilirlik: Mevcut uygulamalar maksimum 1.000 nöron işleme ve transformatör boyutuna (≥1 milyar parametre) ölçeklendirme henüz test edilmemiştir.
- Uygulama Alanları: CTM belirli testlerde iyi sonuçlar gösterirken, bu avantajların geniş pratik uygulamalarda da kullanılıp kullanılmadığı görülmektedir.
Araştırmacılar ayrıca farklı model boyutlarını denediler ve daha fazla nöronun daha çeşitli aktivite modellerine yol açtığını, ancak sonuçları otomatik olarak iyileştirmediğini buldular. Bu, model mimarisi, boyut ve performans arasındaki karmaşık ilişkileri gösterir.
Sakana AI: Yapay Zekaya Yeni Bir Yaklaşım
Sakana AI, Temmuz 2023'te eski Google araştırmacılarının her ikisi de eski Google araştırmacılarının AI vizyoner David Ha ve Llion Jones tarafından kuruldu. Şirket, kurulmuş birçok AI geliştiricisinden daha temel bir yaklaşım izlemektedir.
Geleneksel yolda daha büyük, kaynak yoğun AI modelleri yürümek yerine, Sakana AI doğadan, özellikle de balık sürülerinin ve kuşların sürülerinin kolektif zekasından ilham alıyor. CHATGPT gibi kapsamlı, güçlü modeller geliştiren OpenAAI gibi şirketlerin aksine, Sakana AI, birlikte verimli çalışan daha küçük, işbirlikçi AI modelleri ile merkezi olmayan bir yaklaşıma güvenmektedir.
Bu felsefe CTM'ye de yansır. Sakana AI, daha fazla parametreye sahip daha büyük modeller oluşturmak yerine, AI sistemlerinin bilgiyi işleme şeklini temelden değiştirebilecek temel mimari yeniliklere odaklanıyor.
AI gelişiminde bir paradigma değişimi?
Sürekli düşünce makinesi AI gelişiminde önemli bir adım atabilir. Sakana AI yapay sinir ağlarının merkezi bir unsuru olarak zamansal dinamikleri yeniden tanıtarak AI araştırması için araç ve kavramların repertuarını genişletir.
CTM'nin biyolojik ilhamı, yorumlanabilirliği ve uyarlanabilir hesaplama derinliği, karmaşık sonuçlar ve problem çözme gerektiren uygulama alanlarında özellikle değerli olabilir. Buna ek olarak, bu yaklaşım daha az bilgi işlem kaynakları ile yapabilecek daha verimli AI sistemlerine yol açabilir.
CTM'nin gerçekte bir atılımı temsil edip etmediği görülüyor. En büyük zorluk, laboratuvar testlerinden umut verici sonuçları pratik uygulamalara dönüştürmek ve mimariyi daha büyük modellere ölçeklendirmek olacaktır.
Buna bakılmaksızın, CTM, mevcut AI sistemlerinin etkileyici başarılarına rağmen, yapay sinir ağlarının mimarisinde temel yenilikler için hala çok fazla alan olduğunu gösteren cesur ve yenilikçi bir yaklaşımı temsil etmektedir. Sakana Ais Sürekli Düşünce Makinesi bize sadece gerçekten insan benzeri yapay zeka geliştirmek için uzun bir yolculuğun başında olabileceğimizi hatırlatıyor.
İçin uygun:
AI dönüşümünüz, AI entegrasyonu ve AI platformu endüstri uzmanınız
☑️İş dilimiz İngilizce veya Almancadır
☑️ YENİ: Ulusal dilinizde yazışmalar!
Konrad Wolfenstein
Size ve ekibime kişisel danışman olarak hizmet etmekten mutluluk duyarım.
iletişim formunu doldurarak benimle iletişime geçebilir +49 89 89 674 804 (Münih) numaralı telefondan beni arayabilirsiniz . E-posta adresim: wolfenstein ∂ xpert.digital
Ortak projemizi sabırsızlıkla bekliyorum.
