פורסם ב: 19 במאי, 2025 / עדכון מ: 19 במאי 2025 - מחבר: קונרד וולפנשטיין
כך לומד AI כמו מוח: למידת גישה חדשה למערכות AI עם AI-Sakana AI ו- Direction Dimine-image: xpert.digital
חשיבה אנושית חדשה: ה- CTM החדשני של Sakana AI
מכונה חשיבה 2.0: מדוע ה- CTM הוא אבן דרך
"מכונת המחשבה הרציפה" החדשה (CTM) של הסטארט-אפ היפני Sakana AI מסמנת שינוי פרדיגמה במחקר AI על ידי קביעת דינמיקת הזמן של פעילות עצבית כמנגנון מרכזי לחשיבת מכונות. בניגוד למודלים של AI קונבנציונליים המעבדים מידע בסיבוב אחד, CTM מדמה תהליך חשיבה רב-שלבי שמבוסס יותר על תפקוד המוח האנושי.
מתאים לכך:
מהפכת החשיבה המבוססת על זמן
בעוד שמודלים AI מסורתיים כמו GPT-4 או LLAMA 3 עובדים ברצף-קלט נכנס, פלט יוצא לדרך עם עקרון זה. המערכת פועלת עם מושג זמן פנימי, כך שנקרא "קרציות" או תזמון נפרד, דרכו מתפתח המצב הפנימי של המודל בהדרגה. גישה זו מאפשרת התאמה איטרטיבית ויוצרת תהליך הדומה יותר לתהליך חשיבה טבעי מאשר תגובה גרידא.
"ה- CTM עובד עם מושג זמן פנימי," הקרציות הפנימיות "שנקראו כל כך, המנותקות על ידי קלט הנתונים", מסביר Sakana AI. "זה מאפשר למודל 'לחשוב' כמה צעדים בעת פיתרון משימות במקום לקבל החלטה בריצה אחת מייד."
ליבת גישה זו נעוצה בשימוש בסנכרון עצבי כמנגנון יסודי של ייצוג. Sakana AI נוצר בהשראת הפונקציונליות של מוח ביולוגי, ובו תיאום זמן בין נוירונים ממלא תפקיד מכריע. השראה ביולוגית זו חורגת ממטאפורה גרידא ומהווה את הבסיס לפילוסופיית הפיתוח של AI שלה.
מודלים ברמת עצב: היסודות הטכניים
ה- CTM מציג ארכיטקטורה עצבית מורכבת, המכונה "מודלים ברמת עצב" (NLMS). לכל נוירון פרמטרים משלו משלו ורודף היסטוריה של הפעלות בעבר. היסטוריים אלה משפיעים על התנהגות הנוירונים בזמן ומאפשרים עיבוד דינאמי יותר מאשר עם רשתות עצביות מלאכותיות קונבנציונאליות.
תהליך החשיבה פועל בכמה צעדים פנימיים. ראשית, "מודל סינפסה" מעבד את מצבי הנוירון הנוכחיים ואת נתוני הקלט החיצוניים כדי ליצור את האותות הראשונים-מה שמכונה הפעלות מקדימות. לאחר מכן, "מודלים נוירונים" פרטניים משתמשים בהיסטוריים של אותות אלה כדי לחשב את המצבים הבאים שלהם.
מצבי העצב נרשמים לאורך זמן כדי לנתח את חוזק הסנכרון בין הנוירונים. סנכרון זה מהווה את הייצוג הפנימי המרכזי של המודל. מנגנון קשב נוסף מאפשר למערכת לבחור ולעבד חלקים רלוונטיים בנתוני הקלט.
ביצועים ומבחנים מעשיים
במספר ניסויים, Sakana AI השווה את ביצועי ה- CTM עם ארכיטקטורות מבוססות. התוצאות מראות התקדמות מבטיחה בתחומי יישום שונים:
סיווג איור וביצוע חזותי
במערך הנתונים הידוע של ImageNet-1K, ה- CTM משיג דיוק 1 הראשון של 72.47% ודיוק 5 המובילים של 89.89%. אף על פי שערכים אלה בסטנדרטים של ימינו אינם מייצגים את הערכים המובילים, Sakana AI מדגיש שזו לא המטרה העיקרית של הפרויקט. ראוי לציין כי זהו הניסיון הראשון להשתמש בדינמיקה עצבית כסוג של ייצוג לסיווג ImageNet.
בבדיקות עם מערך הנתונים של CIFAR 10, ה- CTM גם מעט טוב יותר מאשר מודלים קונבנציונליים, כאשר תחזיותיהם דומות יותר להתנהגות קבלת החלטות אנושיות. ב- CIFAR-10H, ה- CTM משיג שגיאת כיול של 0.15 בלבד ובכך עולה על שני בני האדם (0.22) ו- LSTM (0.28).
פתרון בעיות מורכב
במקרה של משימות זוגיות באורך של 64, ה- CTM משיג דיוק מרשים של 100% עם מעל 75 ברים, ואילו LSTMs נתקעים עם מקסימום 10 סורגים אפקטיביים בפחות מ- 60%. בניסוי מבוך, המודל הפגין התנהגות שדומה לתכנון הדרגתי של מסלול, עם אחוזי הצלחה של 80%, לעומת 45% ב- LSTM ורק 20% לרשתות קדימה.
המודל של המודל מעניין במיוחד להתאים באופן דינמי את עומק העיבוד שלו: הוא מפסיק מוקדם יותר במקרה של משימות פשוטות, עם מורכב יותר הוא מחושב יותר זמן. זה עובד ללא פונקציות אובדן נוספות ומהווה מאפיין מובנה של אדריכלות.
פרשנות ושקיפות
מאפיין יוצא מן הכלל של ה- CTM הוא הפרשנות שלו. במהלך עיבוד התמונה, ראשי הקשב סורקים תכונות רלוונטיות באופן שיטתי, המאפשר תובנה לגבי "תהליך החשיבה" של המודל. בניסויים במבוך, המערכת הראתה התנהגות הדומה לתכנון הדרגתי של מסלול-התנהגות שלדברי המפתחים מתעוררת ולא תוכנתה במפורש.
Sakana AI אפילו מספק הדגמה אינטראקטיבית בה מערכת CTM בדפדפן מוצאת את דרכה החוצה ממבוך עד 150 צעדים. שקיפות זו היא יתרון חשוב על פני מערכות AI מודרניות רבות, שתהליך קבלת ההחלטות שלו נתפס לעתים קרובות כ"קופסה שחורה ".
מתאים לכך:
אתגרים ומגבלות
למרות התוצאות המבטיחות, ה- CTM עדיין עומד בפני אתגרים ניכרים:
- מאמץ מחשוב: כל שעון פנימי דורש ריצות קדימה מלאות, מה שמגדיל את עלויות ההדרכה בהשוואה ל- LSTMS בערך שלוש פעמים.
- מדרגיות: יישומים נוכחיים מעבדים מקסימום 1,000 נוירונים, וגודל הגודל לשנאי (≥1 מיליארד פרמטרים) טרם נבדק.
- תחומי היישום: בעוד שה- CTM מציג תוצאות טובות בבדיקות ספציפיות, נותר לראות אם היתרונות הללו משמשים גם ביישומים מעשיים רחבים.
החוקרים ניסו גם בגדלי מודל שונים וגילו כי יותר נוירונים הובילו לדפוסי פעילות מגוונים יותר, אך לא שיפרו אוטומטית את התוצאות. זה מצביע על קשרים מורכבים בין ארכיטקטורת מודל, גודל וביצועים.
Sakana AI: גישה חדשה למודיעין מלאכותי
Sakana AI הוקמה ביולי 2023 על ידי AI חזון דייוויד הא ולליון ג'ונס, שניהם מחוקרי גוגל לשעבר, יחד עם רן איטו, עובד לשעבר של מרקרי ופקידים במשרד החוץ היפני. החברה נוקטת בגישה מהותית בהשוואה למפתחי AI מבוססים רבים.
במקום ללכת בדרך המקובלת דגמי AI מאסיביים יותר, עתירי משאבים, Sakana AI נוצר בהשראת הטבע, במיוחד בגלל האינטליגנציה הקולקטיבית של נחילי דגים ונחילי ציפורים. בניגוד לחברות כמו OpenAAI, המפתחות דגמים נרחבים וחזקים כמו צ'טגפט, Sakana AI מסתמכת על גישה מבוזרת עם דגמי AI קטנים יותר ושיתופיים העובדים ביעילות יחד.
פילוסופיה זו באה לידי ביטוי גם ב- CTM. במקום פשוט לבנות מודלים גדולים יותר עם יותר פרמטרים, Sakana AI מתמקד בחידושים ארכיטקטוניים בסיסיים שיכולים לשנות באופן מהותי את האופן בו מערכות AI יכולות לעבד מידע.
שינוי פרדיגמה בפיתוח AI?
מכונת המחשבה הרציפה יכולה לסמן צעד משמעותי בפיתוח AI. על ידי הכנסת דינמיקה זמנית כמרכיב מרכזי ברשתות עצביות מלאכותיות, Sakana AI מרחיב את הרפרטואר של כלים ומושגים למחקר AI.
ההשראה הביולוגית, הפרשנות ועומק החישוב ההסתגלות של ה- CTM עשויים להיות בעלי ערך במיוחד באזורי יישום הדורשים מסקנות מורכבות ופתרון בעיות. בנוסף, גישה זו עשויה להוביל למערכות AI יעילות יותר שיכולות לעשות עם פחות משאבי מחשוב.
נותר לראות אם ה- CTM למעשה מייצג פריצת דרך. האתגר הגדול ביותר יהיה להמיר את התוצאות המבטיחות מבדיקות המעבדה ליישומים מעשיים ולהיקף את הארכיטקטורה למודלים גדולים יותר.
בלי קשר לכך, ה- CTM מייצג גישה אמיצה וחדשנית המראה שלמרות ההצלחות המרשימות של מערכות AI הנוכחיות, עדיין יש הרבה מקום לחידושים מהותיים בארכיטקטורה של רשתות עצביות מלאכותיות. מכונת מחשבה רציפה של Sakana AIS מזכירה לנו שאנחנו עשויים להיות רק בתחילת מסע ארוך לפיתוח בינה מלאכותית דמויי אנוש באמת.
מתאים לכך:
טרנספורמציית AI שלך, שילוב AI ומומחה לתעשיית הפלטפורמה AI
☑️ השפה העסקית שלנו היא אנגלית או גרמנית
☑️ חדש: התכתבויות בשפה הלאומית שלך!
קונרד וולפנשטיין
אני שמח להיות זמין לך ולצוות שלי כיועץ אישי.
אתה יכול ליצור איתי קשר על ידי מילוי טופס יצירת הקשר או פשוט להתקשר אליי בטלפון +49 89 674 804 (מינכן) . כתובת הדוא"ל שלי היא: וולפנשטיין ∂ xpert.digital
אני מצפה לפרויקט המשותף שלנו.
