Diterbitkan pada: 19 Mei 2025 / Diperbarui pada: 19 Mei 2025 – Penulis: Konrad Wolfenstein
Bagaimana AI belajar seperti otak: Pendekatan baru bagi sistem AI untuk belajar seiring waktu – Sakana AI dan Continuous Thought Machine – Gambar: Xpert.Digital
Membayangkan kembali cara berpikir manusia: CTM inovatif dari Sakana AI
Pemikiran Mesin 2.0: Mengapa CTM merupakan tonggak sejarah
“Mesin Pemikiran Berkesinambungan” (Continuous Thought Machine/CTM) baru dari perusahaan rintisan Jepang, Sakana AI, menandai pergeseran paradigma dalam penelitian AI dengan menetapkan dinamika temporal aktivitas saraf sebagai mekanisme sentral untuk pemikiran mesin. Tidak seperti model AI konvensional yang memproses informasi dalam satu kali proses, CTM mensimulasikan proses pemikiran multi-tahap yang lebih menyerupai cara kerja otak manusia.
Cocok untuk:
Revolusi pemikiran berbasis waktu
Sementara model AI tradisional seperti GPT-4 atau Llama 3 beroperasi secara berurutan—masukan masuk, keluaran keluar—CTM mematahkan prinsip ini. Sistem ini beroperasi dengan konsep waktu internal, yang disebut "tick" atau langkah waktu diskrit, di mana keadaan internal model berkembang secara bertahap. Pendekatan ini memungkinkan adaptasi iteratif dan menciptakan proses yang lebih menyerupai proses berpikir alami daripada sekadar reaksi.
“CTM bekerja dengan konsep waktu internal, yang disebut ‘detik internal’, yang terlepas dari input data,” jelas Sakana AI. “Hal ini memungkinkan model untuk ‘berpikir’ melalui beberapa langkah saat menyelesaikan tugas, alih-alih membuat keputusan secara langsung dalam satu kali proses.”
Inti dari pendekatan ini terletak pada penggunaan sinkronisasi saraf sebagai mekanisme representasi fundamental. Sakana AI mengambil inspirasi dari cara kerja otak biologis, di mana koordinasi temporal antar neuron memainkan peran penting. Inspirasi biologis ini melampaui sekadar metafora dan membentuk dasar filosofi pengembangan AI mereka.
Model Tingkat Neuron: Landasan Teknis
CTM memperkenalkan arsitektur neural kompleks yang dikenal sebagai "Model Tingkat Neuron" (NLM). Setiap neuron memiliki parameter bobotnya sendiri dan melacak riwayat aktivasi sebelumnya. Riwayat ini memengaruhi perilaku neuron dari waktu ke waktu, memungkinkan pemrosesan yang lebih dinamis daripada jaringan saraf tiruan konvensional.
Proses berpikir tersebut berlangsung dalam beberapa langkah internal. Pertama, sebuah "model sinaptik" memproses keadaan neuron saat ini serta data masukan eksternal untuk menghasilkan sinyal awal – yang disebut pra-aktivasi. Selanjutnya, masing-masing "model neuron" mengakses riwayat sinyal-sinyal ini untuk menghitung keadaan berikutnya.
Keadaan neuron direkam dari waktu ke waktu untuk menganalisis kekuatan sinkronisasi antar neuron. Sinkronisasi ini membentuk representasi internal utama dari model tersebut. Mekanisme perhatian tambahan memungkinkan sistem untuk secara selektif memilih dan memproses bagian-bagian yang relevan dari data masukan.
Tes kinerja dan praktik
Dalam serangkaian eksperimen, Sakana AI membandingkan kinerja CTM dengan arsitektur yang sudah mapan. Hasilnya menunjukkan kemajuan yang menjanjikan di berbagai bidang aplikasi:
Klasifikasi gambar dan pemrosesan visual
Pada dataset ImageNet 1K yang terkenal, CTM mencapai akurasi Top 1 sebesar 72,47% dan akurasi Top 5 sebesar 89,89%. Meskipun nilai-nilai ini bukan yang terbaik menurut standar saat ini, Sakana AI menekankan bahwa ini bukanlah tujuan utama proyek ini. Perlu dicatat bahwa ini adalah upaya pertama untuk memanfaatkan dinamika neural sebagai representasi untuk klasifikasi ImageNet.
Dalam pengujian menggunakan dataset CIFAR-10, CTM juga berkinerja sedikit lebih baik daripada model konvensional, dengan prediksinya lebih mirip dengan pengambilan keputusan manusia. Pada CIFAR-10H, CTM mencapai kesalahan kalibrasi hanya 0,15, melampaui manusia (0,22) dan LSTM (0,28).
Penyelesaian masalah yang kompleks
Dalam tugas paritas dengan panjang 64, CTM mencapai akurasi yang mengesankan sebesar 100% dengan lebih dari 75 siklus clock, sementara LSTM hanya mencapai akurasi kurang dari 60% dengan maksimal 10 siklus clock efektif. Dalam eksperimen labirin, model tersebut menunjukkan perilaku yang mirip dengan perencanaan rute langkah demi langkah, dengan tingkat keberhasilan 80%, dibandingkan dengan 45% untuk LSTM dan hanya 20% untuk jaringan feed-forward.
Yang sangat menarik adalah kemampuan model untuk menyesuaikan kedalaman pemrosesannya secara dinamis: model berhenti lebih awal untuk tugas-tugas sederhana dan melakukan perhitungan lebih lama untuk tugas-tugas yang lebih kompleks. Hal ini bekerja tanpa fungsi tambahan yang mengurangi kualitas data dan merupakan fitur bawaan dari arsitektur tersebut.
Kemudahan interpretasi dan transparansi
Salah satu fitur utama CTM adalah interpretasinya. Selama pemrosesan gambar, attention head secara sistematis memindai fitur-fitur yang relevan, memberikan wawasan tentang "proses berpikir" model. Dalam eksperimen labirin, sistem menunjukkan perilaku yang mirip dengan perencanaan rute langkah demi langkah—perilaku yang, menurut pengembangnya, bersifat emergent dan tidak diprogram secara eksplisit.
Sakana AI bahkan menyediakan demo interaktif di mana sistem CTM menemukan jalan keluar dari labirin hingga 150 langkah di dalam peramban. Transparansi ini merupakan keunggulan signifikan dibandingkan banyak sistem AI modern, yang pengambilan keputusannya sering dianggap sebagai "kotak hitam".
Cocok untuk:
Tantangan dan keterbatasan
Terlepas dari hasil yang menjanjikan, CTM masih menghadapi tantangan yang signifikan:
- Upaya komputasi: Setiap siklus jam internal membutuhkan proses maju (forward pass) yang lengkap, yang meningkatkan biaya pelatihan sekitar tiga kali lipat dibandingkan dengan LSTM.
- Skalabilitas: Implementasi saat ini dapat memproses maksimal 1.000 neuron, dan penskalaan ke ukuran transformer (≥1 miliar parameter) belum diuji.
- Bidang aplikasi: Meskipun CTM menunjukkan hasil yang baik dalam pengujian spesifik, masih perlu dilihat apakah keunggulan ini juga akan diterjemahkan ke dalam aplikasi praktis yang lebih luas.
Para peneliti juga bereksperimen dengan berbagai ukuran model dan menemukan bahwa meskipun lebih banyak neuron menghasilkan pola aktivitas yang lebih beragam, hal itu tidak secara otomatis meningkatkan hasilnya. Ini menunjukkan adanya hubungan kompleks antara arsitektur model, ukuran, dan kinerja.
Sakana AI: Pendekatan baru terhadap kecerdasan buatan
Sakana AI didirikan pada Juli 2023 oleh para visioner AI, David Ha dan Lion Jones, keduanya mantan peneliti Google, bersama dengan Ren Ito, mantan karyawan Mercari dan pejabat di Kementerian Luar Negeri Jepang. Perusahaan ini mengambil pendekatan yang sangat berbeda dari banyak pengembang AI yang sudah mapan.
Alih-alih menempuh jalur konvensional dengan model AI yang besar dan membutuhkan banyak sumber daya, Sakana AI mengambil inspirasi dari alam, khususnya kecerdasan kolektif dari kawanan ikan dan burung. Tidak seperti perusahaan seperti OpenAI, yang mengembangkan model besar dan canggih seperti ChatGPT, Sakana AI mengandalkan pendekatan terdesentralisasi dengan model AI kolaboratif yang lebih kecil yang bekerja sama secara efisien.
Filosofi ini juga tercermin dalam CTM. Alih-alih sekadar membangun model yang lebih besar dengan lebih banyak parameter, Sakana AI berfokus pada inovasi arsitektur mendasar yang dapat secara fundamental mengubah cara sistem AI memproses informasi.
Pergeseran paradigma dalam pengembangan AI?
Mesin Pemikiran Berkesinambungan dapat menandai langkah signifikan dalam pengembangan AI. Dengan memperkenalkan kembali dinamika temporal sebagai elemen sentral dari jaringan saraf tiruan, Sakana AI memperluas repertoar alat dan konsep untuk penelitian AI.
Inspirasi biologis, kemampuan interpretasi, dan kedalaman komputasi adaptif dari CTM dapat sangat berharga dalam aplikasi yang membutuhkan penalaran dan pemecahan masalah yang kompleks. Lebih lanjut, pendekatan ini dapat menghasilkan sistem AI yang lebih efisien yang membutuhkan lebih sedikit sumber daya komputasi.
Apakah CTM benar-benar merupakan terobosan masih perlu dibuktikan. Tantangan terbesar adalah menerjemahkan hasil menjanjikan dari uji laboratorium ke dalam aplikasi praktis dan meningkatkan skala arsitektur ke model yang lebih besar.
Terlepas dari itu, CTM mewakili pendekatan yang berani dan inovatif, menunjukkan bahwa meskipun sistem AI saat ini telah mencapai kesuksesan yang mengesankan, masih ada ruang yang signifikan untuk inovasi mendasar dalam arsitektur jaringan saraf tiruan. Continuous Thought Machine dari Sakana AI mengingatkan kita bahwa kita mungkin baru berada di awal perjalanan panjang menuju pengembangan kecerdasan buatan yang benar-benar mirip manusia.
Cocok untuk:
Transformasi AI Anda, Integrasi AI dan Pakar Industri Platform AI
☑️ Bahasa bisnis kami adalah Inggris atau Jerman
☑️ BARU: Korespondensi dalam bahasa nasional Anda!
Konrad Wolfenstein
Saya akan dengan senang hati melayani Anda dan tim saya sebagai penasihat pribadi.
Anda dapat menghubungi saya dengan mengisi formulir kontak atau cukup hubungi saya di +49 89 89 674 804 (Munich) . Alamat email saya adalah: wolfenstein ∂ xpert.digital
Saya menantikan proyek bersama kita.
