Beginilah cara AI belajar seperti otak: mempelajari pendekatan baru untuk sistem AI dengan AI waktu-skana dan citra mesin thoug berkelanjutan: xpert.digital
Pemikiran Manusia Baru: CTM Inovatif oleh Sakana AI
Machine Thinking 2.0: Mengapa CTM adalah tonggak sejarah
"Mesin Pemikiran Berkelanjutan" (CTM) baru dari start-up Jepang AI AI menandai perubahan paradigma dalam penelitian AI dengan menetapkan dinamika waktu aktivitas neuron sebagai mekanisme sentral untuk pemikiran mesin. Berbeda dengan model AI konvensional yang memproses informasi dalam satu putaran, CTM mensimulasikan proses pemikiran multi-tahap yang lebih didasarkan pada fungsi otak manusia.
Cocok untuk:
Revolusi pemikiran berbasis waktu
Sementara model AI tradisional seperti GPT-4 atau LLAMA 3 bekerja secara berurutan-input masuk, output keluar-CTM istirahat dengan prinsip ini. Sistem ini beroperasi dengan konsep waktu internal, sehingga disebut "kutu" atau waktu diskrit, yang melaluinya kondisi internal model berkembang secara bertahap. Pendekatan ini memungkinkan adaptasi berulang dan menciptakan proses yang lebih seperti proses berpikir alami daripada reaksi belaka.
"CTM bekerja dengan konsep waktu internal, yang disebut 'kutu internal', yang dipisahkan oleh input data," jelas Sakana AI. "Ini memungkinkan model untuk 'memikirkan' beberapa langkah ketika menyelesaikan tugas alih -alih membuat keputusan dalam satu kali menjalankan segera."
Inti dari pendekatan ini terletak pada penggunaan sinkronisasi neuronal sebagai mekanisme mendasar dari representasi. Sakana AI terinspirasi oleh fungsionalitas otak biologis, di mana koordinasi waktu antara neuron memainkan peran penting. Inspirasi biologis ini melampaui metafora belaka dan membentuk dasar filosofi pengembangan AI -nya.
Model Tingkat Neuron: Fondasi Teknis
CTM memperkenalkan arsitektur saraf yang kompleks, yang disebut sebagai "model tingkat neuron" (NLMS). Setiap neuron memiliki parameter beratnya sendiri dan mengejar riwayat aktivasi masa lalu. Sejarah ini mempengaruhi perilaku neuron dalam waktu dan memungkinkan pemrosesan yang lebih dinamis daripada dengan jaringan neuron buatan konvensional.
Proses berpikir berjalan dalam beberapa langkah internal. Pertama, "model sinaps" memproses status neuron saat ini dan data input eksternal untuk membuat sinyal pertama-apa yang disebut pra-aktivasi. Selanjutnya, "model neuron" individu menggunakan sejarah sinyal -sinyal ini untuk menghitung keadaan mereka berikutnya.
Keadaan saraf dicatat dari waktu ke waktu untuk menganalisis kekuatan sinkronisasi antara neuron. Sinkronisasi ini membentuk representasi internal pusat model. Mekanisme perhatian tambahan memungkinkan sistem untuk memilih dan memproses bagian yang relevan dari data input.
Tes kinerja dan praktis
Dalam sejumlah percobaan, Sakana AI membandingkan kinerja CTM dengan arsitektur yang sudah mapan. Hasilnya menunjukkan kemajuan yang menjanjikan di berbagai bidang aplikasi:
Klasifikasi gambar dan pengerjaan visual
Pada kumpulan data Imagenet-1K yang terkenal, CTM mencapai akurasi 1 teratas sebesar 72,47% dan akurasi 5 teratas sebesar 89,89%. Meskipun nilai -nilai ini untuk standar saat ini tidak mewakili nilai -nilai teratas, Sakana AI menekankan bahwa ini bukan tujuan utama proyek. Perlu dicatat bahwa ini adalah upaya pertama untuk menggunakan dinamika saraf sebagai bentuk representasi untuk klasifikasi Imagenet.
Dalam pengujian dengan kumpulan data CIFAR 10, CTM juga sedikit lebih baik daripada model konvensional, dengan prediksi mereka lebih mirip dengan perilaku pengambilan keputusan manusia. Pada CIFAR-10H, CTM mencapai kesalahan kalibrasi hanya 0,15 dan dengan demikian melebihi kedua manusia (0,22) dan LSTMS (0,28).
Pemecahan masalah yang kompleks
Dalam kasus tugas paritas dengan panjang 64, CTM mencapai akurasi yang mengesankan sebesar 100% dengan lebih dari 75 bar, sementara LSTM terjebak dengan maksimal 10 bar efektif di kurang dari 60%. Dalam percobaan labirin, model menunjukkan perilaku yang menyerupai perencanaan bertahap rute, dengan tingkat keberhasilan 80%, dibandingkan dengan 45% di LSTM dan hanya 20% dalam jaringan forward forward.
Model model ini sangat menarik untuk secara dinamis mengadaptasi kedalaman pemrosesannya: ia berhenti lebih awal dalam kasus tugas sederhana, dengan lebih kompleks menghitung lebih lama. Ini berfungsi tanpa fungsi kerugian tambahan dan merupakan properti yang melekat dari arsitektur.
Interpretabilitas dan transparansi
Fitur CTM yang luar biasa adalah interpretabilitasnya. Selama pemrosesan gambar, kepala perhatian memindai fitur yang relevan secara sistematis, yang memungkinkan wawasan tentang "proses berpikir" model. Dalam percobaan labirin, sistem menunjukkan perilaku yang menyerupai perencanaan bertahap rute-perilaku yang, menurut pengembang, muncul dan tidak diprogram secara eksplisit.
Sakana AI bahkan menyediakan demo interaktif di mana sistem CTM di browser menemukan jalan keluar dari labirin hingga 150 langkah. Transparansi ini merupakan keuntungan penting dibandingkan banyak sistem AI modern, proses pengambilan keputusan yang sering dianggap sebagai "kotak hitam".
Cocok untuk:
Tantangan dan keterbatasan
Terlepas dari hasil yang menjanjikan, CTM masih menghadapi tantangan yang cukup besar:
- Upaya Komputasi: Setiap jam internal memerlukan berjalan maju lengkap, yang meningkatkan biaya pelatihan dibandingkan dengan LSTM sekitar tiga kali.
- Skalabilitas: Proses implementasi saat ini maksimum 1.000 neuron, dan penskalaan ke ukuran transformator (≥1 miliar parameter) belum diuji.
- Area aplikasi: Sementara CTM menunjukkan hasil yang baik dalam tes spesifik, masih harus dilihat apakah keunggulan ini juga digunakan dalam aplikasi praktis yang luas.
Para peneliti juga bereksperimen dengan ukuran model yang berbeda dan menemukan bahwa lebih banyak neuron menyebabkan pola aktivitas yang lebih beragam, tetapi tidak secara otomatis meningkatkan hasil. Ini menunjukkan hubungan yang kompleks antara arsitektur model, ukuran dan kinerja.
Sakana AI: Pendekatan baru untuk Kecerdasan Buatan
Sakana AI didirikan pada Juli 2023 oleh visioner AI David Ha dan Llion Jones, keduanya mantan peneliti Google, bersama dengan Ren Ito, mantan karyawan Mercari dan pejabat di Kementerian Luar Negeri Jepang. Perusahaan mengejar pendekatan mendasar daripada banyak pengembang AI yang mapan.
Alih-alih berjalan di jalan konvensional yang lebih masif, model AI yang intensif sumber daya, Sakana AI terinspirasi oleh alam, terutama oleh kecerdasan kolektif kawanan ikan dan kawanan burung. Berbeda dengan perusahaan seperti OpenAai, yang mengembangkan model yang luas dan kuat seperti ChatGPT, Sakana AI bergantung pada pendekatan terdesentralisasi dengan model AI kolaboratif yang lebih kecil yang bekerja secara efisien bersama.
Filosofi ini juga tercermin dalam CTM. Alih -alih hanya membangun model yang lebih besar dengan lebih banyak parameter, Sakana AI berfokus pada inovasi arsitektur mendasar yang secara fundamental dapat mengubah cara sistem AI dapat memproses informasi.
Pergeseran paradigma dalam pengembangan AI?
Mesin pemikiran terus menerus dapat menandai langkah signifikan dalam pengembangan AI. Dengan memperkenalkan kembali dinamika temporal sebagai elemen sentral dari jaringan saraf buatan, Sakana AI memperluas repertoar alat dan konsep untuk penelitian AI.
Inspirasi biologis, interpretabilitas, dan kedalaman perhitungan adaptif CTM bisa sangat berharga di area aplikasi yang membutuhkan kesimpulan kompleks dan pemecahan masalah. Selain itu, pendekatan ini dapat menyebabkan sistem AI yang lebih efisien yang dapat dilakukan dengan lebih sedikit sumber daya komputasi.
Masih harus dilihat apakah CTM benar -benar mewakili terobosan. Tantangan terbesar adalah mengubah hasil yang menjanjikan dari tes laboratorium menjadi aplikasi praktis dan untuk skala arsitektur ke model yang lebih besar.
Terlepas dari hal ini, CTM mewakili pendekatan yang berani dan inovatif yang menunjukkan bahwa terlepas dari keberhasilan sistem AI saat ini yang mengesankan, masih ada banyak ruang untuk inovasi mendasar dalam arsitektur jaringan saraf buatan. Sakana Ais Continuous Thought Machine mengingatkan kita bahwa kita mungkin hanya berada di awal perjalanan panjang untuk mengembangkan kecerdasan buatan yang benar -benar seperti manusia.
Cocok untuk:
Transformasi AI Anda, Integrasi AI dan Pakar Industri Platform AI
☑️ Bahasa bisnis kami adalah Inggris atau Jerman
☑️ BARU: Korespondensi dalam bahasa nasional Anda!
Konrad Wolfenstein
Saya akan dengan senang hati melayani Anda dan tim saya sebagai penasihat pribadi.
Anda dapat menghubungi saya dengan mengisi formulir kontak atau cukup hubungi saya di +49 89 89 674 804 (Munich) . Alamat email saya adalah: wolfenstein ∂ xpert.digital
Saya menantikan proyek bersama kita.
