כיצד בינה מלאכותית לומדת כמו מוח: גישה חדשה למערכות בינה מלאכותית ללמידה לאורך זמן – Sakana AI ו-Continuous Thought Machine – תמונה: Xpert.Digital
דמיון מחדש של החשיבה האנושית: ה-CTM החדשני של Sakana AI
חשיבה מכונה 2.0: מדוע CTM הוא אבן דרך
"מכונת המחשבה הרציפה" (CTM) החדשה של הסטארט-אפ היפני Sakana AI מסמנת שינוי פרדיגמה במחקר הבינה המלאכותית על ידי ביסוס הדינמיקה הזמנית של פעילות עצבית כמנגנון מרכזי לחשיבה מכונה. בניגוד למודלים קונבנציונליים של בינה מלאכותית המעבדים מידע במעבר אחד, CTM מדמה תהליך חשיבה רב-שלבי הדומה יותר לפעולת המוח האנושי.
מתאים לכך:
מהפכת החשיבה המבוססת על זמן
בעוד שמודלים מסורתיים של בינה מלאכותית כמו GPT-4 או Llama 3 פועלים באופן סדרתי - קלט נכנס, פלט יוצא - CTM שובר את העיקרון הזה. המערכת פועלת עם תפיסת זמן פנימית, מה שנקרא "טיקים" או צעדי זמן דיסקרטיים, שדרכם המצב הפנימי של המודל מתפתח בהדרגה. גישה זו מאפשרת הסתגלות איטרטיבית ויוצרת תהליך הדומה יותר לתהליך חשיבה טבעי מאשר לתגובה גרידא.
"ה-CTM עובד עם תפיסה פנימית של זמן, מה שנקרא 'טיקים פנימיים', אשר מנותקים מקלט הנתונים", מסביר Sakana AI. "זה מאפשר למודל 'לחשוב' דרך מספר שלבים בעת פתרון משימות, במקום לקבל החלטה באופן מיידי במעבר אחד."
ליבת גישה זו טמונה בשימוש בסנכרון עצבי כמנגנון ייצוג בסיסי. חברת Sakana AI שאבה השראה מתפקודם של מוחות ביולוגיים, שבהם תיאום זמני בין נוירונים ממלא תפקיד מכריע. השראה ביולוגית זו חורגת ממטאפורה גרידא ומהווה את הבסיס לפילוסופיית פיתוח הבינה המלאכותית שלהם.
מודלים ברמת הנוירונים: היסודות הטכניים
מודל CTM מציג ארכיטקטורה עצבית מורכבת המכונה "מודלים ברמת הנוירונים" (NLMs). לכל נוירון יש פרמטרי משקל משלו והוא עוקב אחר היסטוריה של הפעלות קודמות. היסטוריות אלו משפיעות על התנהגות הנוירונים לאורך זמן, ומאפשרות עיבוד דינמי יותר מאשר רשתות עצביות מלאכותיות קונבנציונליות.
תהליך החשיבה מתפתח בכמה שלבים פנימיים. ראשית, "מודל סינפטי" מעבד את המצבים העצביים הנוכחיים וכן נתוני קלט חיצוניים כדי לייצר אותות ראשוניים - מה שנקרא קדם-הפעלות. לאחר מכן, "מודלים של נוירונים" בודדים ניגשים להיסטוריה של אותות אלה כדי לחשב את המצבים הבאים שלהם.
מצבי העצב נרשמים לאורך זמן כדי לנתח את עוצמת הסנכרון בין הנוירונים. סנכרון זה מהווה את הייצוג הפנימי המרכזי של המודל. מנגנון קשב נוסף מאפשר למערכת לבחור ולעבד באופן סלקטיבי חלקים רלוונטיים מנתוני הקלט.
מבחנים מעשיים וביצועים
בסדרת ניסויים, Sakana AI השוותה את ביצועי CTM עם ארכיטקטורות מבוססות. התוצאות מראות התקדמות מבטיחה בתחומי יישום שונים:
סיווג תמונות ועיבוד חזותי
במערך הנתונים הידוע של ImageNet 1K, CTM משיג דיוק ברמה 1 של 72.47% ודיוק ברמה 5 של 89.89%. בעוד שערכים אלה אינם ברמה הגבוהה ביותר בסטנדרטים של ימינו, Sakana AI מדגישה שזו אינה המטרה העיקרית של הפרויקט. ראוי לציין שזהו הניסיון הראשון להשתמש בדינמיקה עצבית כייצוג לסיווג ImageNet.
בבדיקות באמצעות מערך הנתונים CIFAR-10, ה-CTM גם ביצע ביצועים טובים במעט בהשוואה למודלים קונבנציונליים, כאשר תחזיותיו דומות יותר לקבלת החלטות אנושיות. ב-CIFAR-10H, ה-CTM משיג שגיאת כיול של 0.15 בלבד, ועולה על בני אדם (0.22) ועל מודלים של LSTM (0.28).
פתרון בעיות מורכבות
במשימות זוגיות באורך של 64, ה-CTM משיג דיוק מרשים של 100% עם מעל 75 מחזורי שעון, בעוד ש-LSTM נתקעים בדיוק של פחות מ-60% עם מקסימום של 10 מחזורי שעון אפקטיביים. בניסוי מבוך, המודל הדגים התנהגות דומה לתכנון מסלול שלב אחר שלב, עם שיעור הצלחה של 80%, בהשוואה ל-45% עבור LSTM ורק 20% עבור רשתות הזנה קדימה.
מעניינת במיוחד היא יכולתו של המודל להתאים באופן דינמי את עומק העיבוד שלו: הוא עוצר מוקדם יותר עבור משימות פשוטות ומחשב זמן רב יותר עבור משימות מורכבות יותר. זה עובד ללא פונקציות אובדניות נוספות וזהו מאפיין אינהרנטי של הארכיטקטורה.
פרשנות ושקיפות
מאפיין מרכזי של ה-CTM הוא יכולת הפירוש שלו. במהלך עיבוד התמונה, ראשי הקשב סורקים באופן שיטתי מאפיינים רלוונטיים, ומספקים תובנות לגבי "תהליך החשיבה" של המודל. בניסויי מבוך, המערכת הציגה התנהגות דומה לתכנון שלב אחר שלב של מסלול - התנהגות שלדברי המפתחים, היא מתפתחת ואינה מתוכנתת במפורש.
Sakana AI אף מספקת הדגמה אינטראקטיבית שבה מערכת CTM מוצאת את דרכה החוצה ממבוך בעד 150 שלבים בתוך הדפדפן. שקיפות זו מהווה יתרון משמעותי על פני מערכות בינה מלאכותית מודרניות רבות, שקבלת ההחלטות שלהן נתפסת לעתים קרובות כ"קופסה שחורה".
מתאים לכך:
אתגרים ומגבלות
למרות התוצאות המבטיחות, CTM עדיין עומדת בפני אתגרים משמעותיים:
- מאמץ חישובי: כל מחזור שעון פנימי דורש מעברים קדימה שלמים, מה שמגדיל את עלויות האימון פי שלושה בקירוב בהשוואה ל-LSTMs.
- מדרגיות: יישומים נוכחיים יכולים לעבד מקסימום של 1,000 נוירונים, ומדרוג לגודל שנאי (מיליארד פרמטרים ומעלה) טרם נבדק.
- תחומי יישום: בעוד ש-CTM מראה תוצאות טובות בבדיקות ספציפיות, נותר לראות האם יתרונות אלה יתורגמו גם ליישומים מעשיים רחבים.
החוקרים גם ערכו ניסויים עם גדלי מודלים שונים וגילו כי בעוד שיותר נוירונים הובילו לדפוסי פעילות מגוונים יותר, הם לא שיפרו אוטומטית את התוצאות. עובדה זו מצביעה על קשרים מורכבים בין ארכיטקטורת המודל, גודלו וביצועיו.
Sakana AI: גישה חדשה לבינה מלאכותית
חברת Sakana AI נוסדה ביולי 2023 על ידי חזונאים בתחום הבינה המלאכותית דיוויד הא וליאון ג'ונס, שניהם חוקרים לשעבר בגוגל, יחד עם רן איטו, עובד לשעבר של Mercari ופקיד במשרד החוץ היפני. החברה נוקטת בגישה שונה באופן מהותי מזו של מפתחי בינה מלאכותית רבים ותיקים.
במקום לנקוט בדרך המקובלת של מודלים מסיביים ועתירי משאבים של בינה מלאכותית, Sakana AI שואבת השראה מהטבע, ובמיוחד מהאינטליגנציה הקולקטיבית של להקות דגים ולהקות ציפורים. בניגוד לחברות כמו OpenAI, המפתחות מודלים גדולים וחזקים כמו ChatGPT, Sakana AI מסתמכת על גישה מבוזרת עם מודלים קטנים יותר של בינה מלאכותית שיתופיים שעובדים יחד ביעילות.
פילוסופיה זו באה לידי ביטוי גם ב-CTM. במקום פשוט לבנות מודלים גדולים יותר עם יותר פרמטרים, Sakana AI מתמקדת בחידושים אדריכליים בסיסיים שיכולים לשנות באופן מהותי את האופן שבו מערכות בינה מלאכותית מעבדות מידע.
שינוי פרדיגמה בפיתוח בינה מלאכותית?
מכונת המחשבה הרציפה (Continuous Thought Machine) עשויה לסמן צעד משמעותי בפיתוח הבינה המלאכותית. על ידי החדרה מחדש של דינמיקה זמנית כאלמנט מרכזי ברשתות עצביות מלאכותיות, Sakana AI מרחיבה את רפרטואר הכלים והמושגים למחקר בינה מלאכותית.
ההשראה הביולוגית, יכולת הפרשנות ועומק החישוב האדפטיבי של CTM יכולים להיות בעלי ערך רב במיוחד ביישומים הדורשים חשיבה מורכבת ופתרון בעיות. יתר על כן, גישה זו עשויה להוביל למערכות בינה מלאכותית יעילות יותר הדורשות פחות משאבי חישוב.
נותר לראות האם CTM באמת מייצג פריצת דרך. האתגר הגדול ביותר יהיה לתרגם את התוצאות המבטיחות מבדיקות המעבדה ליישומים מעשיים ולהרחיב את הארכיטקטורה למודלים גדולים יותר.
למרות זאת, מכונת המחשבה הרציפה (CTM) מייצגת גישה נועזת וחדשנית, המדגימה שלמרות ההצלחות המרשימות של מערכות הבינה המלאכותית הנוכחיות, עדיין יש מקום משמעותי לחדשנות בסיסית בארכיטקטורה של רשתות עצביות מלאכותיות. מכונת המחשבה הרציפה (Continuous Thought Machine) של Sakana AI מזכירה לנו שאנו עשויים להיות רק בתחילתו של מסע ארוך לקראת פיתוח בינה מלאכותית דמוית אדם באמת.
מתאים לכך:
טרנספורמציית AI שלך, שילוב AI ומומחה לתעשיית הפלטפורמה AI
☑️ השפה העסקית שלנו היא אנגלית או גרמנית
☑️ חדש: התכתבויות בשפה הלאומית שלך!
Konrad Wolfenstein
אני שמח להיות זמין לך ולצוות שלי כיועץ אישי.
אתה יכול ליצור איתי קשר על ידי מילוי טופס יצירת הקשר או פשוט להתקשר אליי בטלפון +49 89 674 804 (מינכן) . כתובת הדוא"ל שלי היא: וולפנשטיין ∂ xpert.digital
אני מצפה לפרויקט המשותף שלנו.
