תקיפה צבאית נעצרה ברגע האחרון: הסיכון הקטלני של בינה מלאכותית בלתי מבוקרת

הפגם המסוכן ביותר בעולם של בינה מלאכותית: מדוע אלגוריתמים מסוכנים ביותר בסוכנויות מודיעין

טעות מודיעינית שנגרמה על ידי בינה מלאכותית: כיצד שקר שנוצר על ידי מכונה כמעט שיתק את הכלכלה העולמית

זה נשמע כמו תסריט של מותחן פוליטי מתוקשר, אבל באביב 2026 זה כמעט הפך למציאות הרסנית: דו"ח מודיעין אמריקאי פגום שנוצר על ידי בינה מלאכותית כמעט עורר הסלמה צבאית במזרח התיכון. מכיוון שצ'אטבוט פירש באופן אנוש מידע זמין לציבור ונתוני איתות מסווגים, ספינת סוחר סינית הואשמה בטעות בהובלת רכיבים של נשק גרעיני. בזמן שמטוסי צבא אמריקאים כבר היו באוויר, קציני כוננות ביטלו את המשימה ברגע האחרון ממש.

אבל תקרית זו היא הרבה יותר מסתם סיפורה של מכונה הזויה. היא חושפת חבית אבק שריפה מבנית וכלכלית: מה קורה כאשר ארגונים קריטיים לבטיחות - מסונוורים מהבטחה ליעילות מקסימלית - מוותרים על השליטה לאלגוריתמים? הטקסט הבא מנתח את התהום העמוקה של שרשרת קבלת החלטות שבה לא הטכנולוגיה נכשלה, אלא מוסדות שטעו וטעו שמהירות היא אמת בלתי ניתנת לשינוי. סיפור אזהרה על הסיבה לכך ששיקול הדעת האנושי, בתקופות של תהליכים אוטומטיים ביותר, הוא גורם הייצור החשוב ביותר, ובו זמנית גם הפגיע ביותר בסדר עולמי שלנו.

לא הבינה המלאכותית איבדה שליטה – אלא ארגון שטעה וחשב שמהירות היא אמת

כמעט תקרית עם פוטנציאל נפץ עולמי

באביב 2026, דו"ח מודיעין אמריקאי פגום, שנוצר באמצעות בינה מלאכותית, כמעט הוביל ליירוט צבאי של ספינת סוחר סינית במזרח התיכון. על פי הדיווח הזמין כעת, אנליסט השתמש בצ'אטבוט כדי להעריך מידע על מטען הספינה. המערכת שילבה מידע זמין לציבור עם נתוני איתות מסווגים והסיקה באופן שגוי כי הספינה נשאה רכיבים לתוכנית נשק גרעיני. על סמך זה, רשויות הצבא החלו להתכונן למתקפה. כוחות מזוינים היו אמורים לעלות על הספינה, בעוד שמטוסים צבאיים, על פי הדיווחים, כבר היו באוויר.

המבצע הופסק ככל הנראה זמן קצר לפני ביצועו לאחר שקצינים בחנו את המידע מקרוב. תוצאותיו גילו כי זיהוי המטען המכריע אינו אמין וכי נעשה שימוש בבינה מלאכותית הן בניתוח התוכן והן בתרגום התוצאות לפורמט סטנדרטי של דוח מודיעין. איזה מטען הועבר בפועל, איזה מודל ספציפי נעשה בו שימוש, ואילו בדיקות טכניות או ארגוניות בוצעו מראש, נותרו לא ברורים לציבור. כמו כן, אין אישור רשמי עם שחזור מלא של האירוע. לכן, יש להבחין בין הליבה המדווחת של האירועים, מסקנות סבירות לבין השאלות שנותרו ללא מענה.

מבחינה כלכלית, עם זאת, מקרה זה רלוונטי ביותר. הוא מדגים כיצד הכנסת בינה מלאכותית גנרטיבית בארגונים קריטיים לבטיחות יכולה להגביר את הפרודוקטיביות ובמקביל להכפיל את הנזק הפוטנציאלי שנגרם מטעויות אישיות. בתהליך משרדי טיפוסי, הצהרה מפוברקת עלולה להוביל למצגת פגומה או להזמנה מיותרת. בתהליך קבלת החלטות צבאי, אותה רמת טעות יכולה להשפיע על חיי אדם, זרימות סחר, פרמיות ביטוח, מחירי סחורות, שווקים פיננסיים ויחסים בינלאומיים. הטכנולוגיה נשארת זהה, אך הערך הכלכלי של תשובה נכונה והעלות של תשובה שגויה משתנים באופן דרמטי.

לכן, התקרית אינה בעיקר סיפור על מכונת הזיות. זהו סיפור על מערכות תמריצים, ארכיטקטורות בקרה, כלכלת מידע ואחריות מוסדית. בינה מלאכותית אינה יכולה להגדיר כללי פעולה, ליצור תרבות ארגונית או לקחת אחריות. היא מייצרת פלטים בתוך מערכת שבני אדם רוכשים, מגדירים, משתמשים בה, בודקים ומתרגמים אותה להחלטות. כאשר תגובת מודל לא ודאית הופכת לדו"ח מודיעיני אמין לכאורה, וזה מוביל למבצע צבאי, הבעיה המרכזית טמונה בכל שרשרת הערך של קבלת ההחלטות.

ניתוח מואץ, סיכון מואץ

ארגונים צבאיים ומודיעיניים מתמודדים עם בעיית נתונים אמיתית. תמונות לוויין, נתוני תקשורת, תנועות ספינות, מסמכי משלוח, מקורות פתוחים, נתוני חיישנים ודוחות מצב גדלים מהר יותר ממה שבני אדם יכולים לנתח אותם ידנית. בינה מלאכותית מבטיחה למיין כמויות עצומות של מידע, לחשוף קורלציות וליצור דוחות מהר יותר. היתרונות הכלכליים טמונים בעלויות חיפוש מופחתות, קיבולת עיבוד מוגברת ומחזורי קבלת החלטות מהירים יותר. אותם יתרונות מסבירים מדוע חברות משתמשות בבינה מלאכותית גנרטיבית בניתוח שוק, מחלקות משפטיות, לוגיסטיקה, שירות לקוחות ומחקר.

עם זאת, מהירות אינה שווה בהכרח ליעילות. תהליך יעיל מבחינה כלכלית רק אם התועלת הנוספת של ההאצה עולה על העלויות הנוספות הצפויות של שגיאות והשלכותיהן. במשימה אדמיניסטרטיבית בעלת סיכון נמוך, יכול להיות הגיוני להשתמש בבינה מלאכותית לא מושלמת מכיוון שניתן לתקן שגיאות בזול. תנאים שונים חלים במקרה של התערבות צבאית פוטנציאלית על ספינה בעלת נשק גרעיני. הגורם הרלוונטי אינו הדיוק הממוצע של המערכת, אלא הנזק הכולל הצפוי. ניתן לפשט זאת על ידי הכפלת ההסתברות להתרחשות שגיאה בהיקף הנזק הפוטנציאלי.

היגיון זה הוא מה שהופך אירועים קיצוניים נדירים למשמעותיים כלכלית כל כך. אפילו אם מודל יפעל כהלכה ב-99 מתוך 100 מקרים, שיעור השגיאות הנותר עלול להיות בלתי מקובל ברגע שתוצאה חיובית כוזבת עלולה לעורר סכסוך מזוין. לכן, ביצועים ממוצעים גבוהים אינם הוכחה מספקת למוכנות מבצעית. גורמים מכריעים כוללים סוגי שגיאות, ההקשר המבצעי, אינדיקטור אי הוודאות, מקור הנתונים, וקטורי התקפה ויכולתו של הארגון להפריך פלט בזמן.

לכך מתווסף דחיסת זמן קבלת ההחלטות. בינה מלאכותית לא רק מקצרת את הניתוח אלא גם מגבירה את הלחץ לפעול מהר יותר. ברגע שארגון מסוגל מבחינה טכנית להעריך מידע בדקות במקום בשעות, הציפיות לגבי קצב התפעול משתנות. מה שנראה בתחילה כחיסכון בזמן יכול להפוך לחובה חדשה. מנהלים מצפים למודעות מצבית מיידית, אנליסטים חייבים לספק תפוקה רבה יותר, ויחידות מתחילות בהכנות מוקדם יותר. הזמן שנצבר אינו משמש לאחר מכן לסקירה נוספת אלא נספג במחזור תפעולי מואץ.

זה יוצר פרדוקס פרודוקטיביות. הטכנולוגיה חוסכת זמן עבודה בשלב הראשון, אך מייצרת עלויות חדשות של בדיקות, תיעוד ואימות בשלבים הבאים. אם עלויות אלו לא נלקחות בחשבון, בינה מלאכותית נראית חסכונית יותר מבחינה עסקית ממה שהיא בפועל. הארגון רומן את שעות האנליסט שנחסכו, בעוד שהסיכון לקבלת החלטות שגויות נותר כנטל חיצוני מפושט מחוץ לתקציב הפרויקט. הפרדה זו עצמה מעודדת יישום מהיר מדי.

הטעות האמיתית הייתה טמונה בשרשרת התהליך

החולשה הקריטית לא הייתה ככל הנראה רק זיהוי שגוי של משלוח. בעייתית יותר הייתה העובדה שהמסקנה השגויה יכלה לעבור מספר שלבים ארגוניים מבלי להתגלות בזמן כהצהרה שנוצרה על ידי מכונה ולא אומתה כראוי. דבר זה מצביע על כשל בתהליכי מקור המידע, התיוג, הבדיקות ההצלבות והאישור. מערכת חזקה הייתה צריכה לעצור במספר נקודות: במהלך הזנת נתונים רגישים, כאשר סוגים שונים של מקורות היו מעורבבים, במהלך הערכת המטען, במהלך יצירת הדוחות, ולכל המאוחר במהלך תכנון תפעולי.

השימוש השני בבינה מלאכותית לעיצוב תוצאות בעייתי במיוחד. דוחות סטנדרטיים הם הכרחיים עבור ארגונים גדולים משום שהם מבטיחים קריאות, השוואתיות והפצה מהירה. יחד עם זאת, פורמט מוכר מעניק סמכות מוסדית להצהרה. אם דוח מלוטש מבחינה לשונית ונכון צורתי הוא בעל פני שטח זהים למוצר שנחקר באופן מסורתי, הנמענים אינם יכולים עוד לזהות את אי הוודאות של יצירתו. הטופס הופך לאות איכות, למרות שהוא אינו אומר דבר על איכות התוכן.

זה ממחיש בעיה כלכלית של מידע אסימטרי. באופן אידיאלי, המחבר מכיר את היסטוריית יצירת המסמך, אך הנמענים רואים בעיקר את המוצר המוגמר. אם המקור, המודל, התשומות, אי הוודאויות ושלבי האימות אינם נחשפים בצורה שקופה, הנמען אינו יכול להעריך כראוי את הסיכון. הוא עשוי להתייחס לתוצאה שנוצרה על ידי בינה מלאכותית כאל ניתוח אנושי שאומת שוב ושוב. ניתן להשוות זאת למוצר פיננסי שמבנה הסיכון שלו נשאר מוסתר מאחורי דירוג מוכר.

שימוש בבינה מלאכותית בשני שלבים רצופים עלול להחריף את השגיאה. ראשית, המערכת מייצרת או מאמצת מסקנה שגויה. לאחר מכן, תהליך אחר הנתמך על ידי בינה מלאכותית מנסח מסקנה זו בצורה משכנעת, עקבית ומקצועית. השלב השני אינו בהכרח מאמת את הראשון אלא משפר את אמינותו הלשונית. אי הוודאות הופכת לוודאות בנימה. שיפור סמנטי זה מסוכן בתהליכים קריטיים לבטיחות משום שמקבלי החלטות פועלים לעתים קרובות תחת לחץ זמן המבוסס על תוצרים דחוסים.

לכן, מערכת בקרה יעילה חייבת להעריך לא רק תגובות מודל בודדות, אלא את כל שרשרת המידע. כל טרנספורמציה יכולה לאבד עקיבות, הסתברויות חלקות ולהסיר הסתייגויות. תצפית גולמית הופכת לסיווג, הסיווג להנחת איום, ההנחה לדיווח והדיווח לאפשרות פעולה. אם כל שלב מאמץ את השלב הקודם ללא אימות, התוצאה אינה אישור עצמאי, אלא מפל של שגיאות מתואמות.

למה האדם לא מספיק מעורב

התגובה הפוליטית הנפוצה ביותר לסיכוני בינה מלאכותית צבאית היא שאדם חייב להישאר מעורב בתהליך קבלת ההחלטות. זה נשמע מרגיע, אבל זה לא שלם. אדם שנותן את אישורו בסך הכל בסוף תהליך אוטומטי ביותר אינו מהווה פיקוח יעיל. חשוב מכל, אדם זה חייב להיות בעל זמן מספיק, מומחיות, גישה לנתונים ראשוניים וחופש מוסדי כדי לאתגר את המכונה. ללא תנאים מוקדמים אלה, האדם הופך לחתימה רשמית בלבד על החלטה מובנית מראש.

הטיה אוטומציה מתעוררת כאשר אנשים נותנים אמון רב יותר בהמלצות מכונה מאשר מהימנותן בפועל מצדיקה. עם זאת, זוהי אינה רפלקס בלתי נמנע ואינה מתרחשת באופן שווה בכל סיטואציה. אמון תלוי בניסיון, בעומס עבודה, במצגת, בתרבות הארגונית ובסמכות הנתפסת של המערכת. כלים רבי עוצמה יכולים להפוך לבעייתיים במיוחד כאשר הם בדרך כלל מספקים תוצאות מועילות. שגיאות נדירות מתרחשות אז בסביבה של קבלה בסיסית גבוהה.

בהקשר צבאי, היררכיה ולחץ זמן מחריפים את הבעיה. אם דו"ח סטנדרטי כבר הופץ במספר רמות ויחידות החלו בהכנות, העלויות הפסיכולוגיות והארגוניות של התנגדות עולות. האנליסט או הקצין שעוצרים את התהליך חייבים לא רק להטיל ספק במידע, אלא גם להאט גיוס מוסדי מתמשך. ככל שהתהליך מתקדם, כך גדלה ההשפעה של עלויות שקועות, הטיה לאישור והחשש להמעיט בערכו של איום ממשי.

לכן, פיקוח אנושי אמיתי חייב להתחיל עוד לפני השלב המבצעי. הוא דורש ספים ברורים לאישור עצמאי, ניתוח צולב חובה והפרדה נראית לעין בין תצפית, פרשנות מכונה ושיקול דעת אנושי. עבור החלטות משמעותיות במיוחד, יחידה שנייה, עצמאית מבחינה ארגונית, צריכה לבחון את נתוני הקלט. יתר על כן, דחיית המלצה על בינה מלאכותית חייבת להיות ניטרלית לקריירה. אם מהירות מתוגמלת ועיכוב נענש, פיקוח עשוי להתקיים על הנייר אך לאבד את יעילותו המעשית.

הנוסחה המכרעת, אם כן, אינה "אנושי בתוך הלולאה", אלא שיקול דעת אנושי יעיל בתוך שרשרת קבלת החלטות ניתנת לאימות. אדם חייב להיות בעל יכולת לעצור את התהליך, להתייעץ עם מקורות, לדרוש חלופות ולדווח על אי ודאות כלפי מעלה. עליו גם לדעת מתי מודל פועל מחוץ לתחום המיועד לו. ללא יכולת זו, השתתפות אנושית הופכת לממשל דקורטיבי בלבד.

המחיר הכלכלי של הסלמה שגויה

העלויות הצבאיות המיידיות של מבצע יירוט היו יכולות להיות רק חלק קטן מהנזק הפוטנציאלי. תפיסה כפויה של כלי שיט סיני הייתה עלולה להפעיל צעדי נגד דיפלומטיים, תגובות צבאיות, סנקציות או צעדי תגמול. גם ללא מלחמה גלויה, סביר להניח שהיו צפויות פרמיות סיכון גבוהות יותר בספנות ובתחבורה אווירית. חברות ספנות היו מתאימות מסלולים, חברות ביטוח היו דורשות תוספות, וחברות היו צוברות מלאי נוסף. כל אחת מהתגובות הללו קושרת הון ומגדילה את עלויות העסקה.

למזרח התיכון חשיבות עליונה לאספקת אנרגיה ולסחר העולמי. עימות בין ארה"ב לסין באזור זה היה משנה באופן פתאומי את התפיסה לגבי סיכונים גיאופוליטיים. מחירי הנפט והגז מגיבים לא רק לשיבושים בפועל באספקה, אלא גם לציפיות למחסור עתידי. מחירי אנרגיה גבוהים יותר יכבידו על תעשיות תחבורה, כימיקלים, חקלאות ותעשיות עתירות אנרגיה. במקביל, השקעות בטוחות עלולות לעלות, שוקי המניות עלולים להיות תחת לחץ, ועלויות המימון של חברות מסוכנות יותר עלולות לעלות.

הסיכון הכלכלי הגדול ביותר היה תגובת שרשרת של אי ודאות. שווקים יכולים לעבד נזק ידוע במהירות יחסית, אך נתיבי הסלמה לא ברורים יוצרים תנודתיות גבוהה במיוחד. כאשר לא ניתן להבחין בכוונות ולא במגבלות התגובה של המדינות המעורבות, חברות מתמחרות במספר תרחישים בו זמנית. השקעות נדחות, חוזי אספקה ​​מתקצרים ועתודות המזומנים גדלות. זהירות זו רציונלית עבור כל חברה בנפרד, אך עלולה להחליש את הביקוש והפריון ברמה המקרו-כלכלית.

יחסי הסחר בין ארה"ב לסין היו גם הם מושפעים. למרות היריבות האסטרטגית, שתי הכלכלות נותרות קשורות זו בזו באמצעות סחורות, מוצרי ביניים, טכנולוגיה, הון ושווקי מכירות. עימות צבאי עלול להאיץ את בקרת היצוא, משטרי הסנקציות וסינון השקעות. מוליכים למחצה, אלקטרוניקה, הנדסת מכונות, סוללות, לוגיסטיקה ימית וחומרי גלם קריטיים יהיו פגיעים במיוחד. חברות יצטרכו לבנות את שרשראות האספקה ​​שלהן לא רק לפי עלות ואיכות, אלא יותר ויותר גם לפי חוסן פוליטי.

עבור אירופה וגרמניה, סכסוך כזה לא יהיה בעיה ביטחונית רחוקה. התעשייה הגרמנית תלויה במודלים עסקיים מוכווני יצוא, רשתות אספקה ​​גלובליות וקשרים ימיים יציבים. עלויות תחבורה ואנרגיה גבוהות יותר יפעילו לחץ על שולי הרווח, בעוד שמדיניות כלכלית כפויה בין ארה"ב לסין עלולה להקשות על הגישה לשוק. לעסקים קטנים ובינוניים (SME) בפרט, לעתים קרובות יש פחות עתודות כספיות ופחות כוח משא ומתן כדי להקים שרשראות אספקה ​​מקבילות באזורים גיאופוליטיים מרובים.

מקרה זה ממחיש צורה קיצונית של השפעה חיצונית שלילית. משתמשי יישום בינה מלאכותית אינם נושאים אוטומטית בכל העלויות של החלטתם השגויה. אנליסט, יחידה או פרויקט טכנולוגי עשויים להפיק תועלת מקומית ממהירות, בעוד שחלק גדול מהסיכון מועבר לחיילים, שותפי סחר, משלמי מסים וכלכלה עולמית. במקרים בהם יתרונות פרטיים או ארגוניים ונזקים חברתיים שונים זה מזה, נדרשות תקנות מחמירות יותר מאשר בשווקי תוכנה רגילים.

מרכז לאבטחה והגנה - תמונה: Xpert.Digital

מרכז הביטחון וההגנה מציע ייעוץ מקצועי ומידע עדכני כדי לתמוך ביעילות בחברות ובארגונים בחיזוק תפקידם במדיניות הביטחון וההגנה האירופית. בשיתוף פעולה הדוק עם קבוצת העבודה SME Connect Defence, הוא מקדם במיוחד עסקים קטנים ובינוניים (SMEs) המעוניינים לפתח עוד יותר את יכולת החדשנות והתחרותיות שלהם במגזר הביטחון. כנקודת קשר מרכזית, המרכז יוצר גשר מכריע בין עסקים קטנים ובינוניים לאסטרטגיית ההגנה האירופית.

קשור לזה:

• קבוצת העבודה SME Connect Defence – חיזוק עסקים קטנים ובינוניים בהגנה האירופית

ביטחון כגורם ייצור שלא הוערך כראוי

ניתוחים כלכליים מתייחסים לעתים קרובות לביטחון כמסגרת ממשלתית ולא כנכס יצרני. במציאות, יציבות גיאופוליטית היא יסוד לחלוקת העבודה הבינלאומית. חברות משקיעות לטווח ארוך כאשר זכויות קניין, נתיבי תחבורה, מערכות תשלום ויחסים פוליטיים ניתנים לחיזוי מספיק. כל סיכון נוסף להסלמה פועל כמס בלתי נראה על סחר והשקעות.

בינה מלאכותית יכולה להשפיע על גורם ייצור זה בשני הכיוונים. בשימוש נכון, היא משפרת את הסיור, התחזוקה, הגנת הסייבר, הלוגיסטיקה והמודעות למצב. היא יכולה לסייע בזיהוי נתונים סותרים, להקל על העומס על כוח אדם מצומצם ולחקור מהר יותר אזעקות שווא. עם זאת, בשימוש שגוי, היא מאיצה הערכת איומים, מייצרת תחזיות אשליות ומפחיתה את הזמן הזמין לדיפלומטיה. לכן, אין למדוד את הערך הכלכלי של בינה מלאכותית צבאית אך ורק על ידי מהירות פריסה או חיסכון בכוח אדם.

ניתוח עלויות מקיף יצטרך ללכוד גם שגיאות שנמנעו, סיכוני הסלמה ואובדן אמון. זה קשה מבחינה מתודולוגית מכיוון שאירוע שנמנע אינו ניתן לצפייה ישירה. אף על פי כן, ארגונים יכולים למדל תרחישים, לערוך מבחני קיצון ולהעריך את הנזק הצפוי של סוגי שגיאות שונים. מערכת שהיא אטרקטיבית כלכלית למשימות שגרתיות עשויה להיות לא מתאימה להחלטות רלוונטיות להסלמה. הבחנה זו היא קריטית מכיוון שהמונח בינה מלאכותית מקיף יישומים שונים מאוד.

המסקנה הכלכלית הנבונה אינה לדחות לחלוטין את הבינה המלאכותית הצבאית. נטישה מוחלטת שלה תגרור גם עלויות: ניתוח איטי יותר, עומס מוגבר על כוח אדם, דפוסים שהוחמצו, והחלטות שעלולות להיות גרועות יותר כנגד יריבים המשתמשים באופן אינטנסיבי במערכות כאלה. עם זאת, יש להתאים את השימוש בה בהתאם לפוטנציאל הנזק. ככל שקשה יותר לבטל החלטה שגויה, כך הדרישות לאיכות הנתונים, עקיבות, בדיקה עצמאית והרשאה אנושית חייבות להיות גבוהות יותר.

כאשר יעילות יוצרת תמריצים שגויים

ההתפשטות המהירה של בינה מלאכותית גנרטיבית מונעת על ידי נרטיב מוסדי רב עוצמה. ארגונים אינם רוצים לפגר מבחינה טכנולוגית, מנהלים מצפים לעלייה מדידה בפריון, וספקים מבטיחים מודלים חזקים יותר ויותר במרווחי זמן קצרים יותר ויותר. בסביבה זו, זהירות נתפסת בקלות כבירוקרטיה. אלו המיישמים יישום במהירות יכולים להפגין הצלחות; אלו המונעים פריסות מסוכנות, לעומת זאת, לרוב אינם מייצרים תוצאות בולטות לציבור.

אסימטריה זו מעוותת החלטות. היתרונות של ניתוח מואץ ניכרים מיד במדדים כגון זמן עיבוד, מספר דוחות שנוצרו או שעות עבודה שנחסכו. העלויות של שגיאה נדירה צצות רק מאוחר יותר, וייתכן שגיאה ביחידה ארגונית אחרת. לכן, הפרויקט המיישם בינה מלאכותית אינו בהכרח נושא את אותה הערכת סיכונים כמו מנהיגות צבאית, דיפלומטיה או הכלכלה הלאומית. ללא ממשל מרכזי, אופטימיזציות מקומיות הופכות לסיכון מערכתי.

חוזי רכש יכולים גם ליצור תמריצים בעייתיים. ספקים מוערכים לעתים קרובות על סמך פונקציונליות, מהירות אינטגרציה ומחיר. מאפיינים קשים יותר למדידה, כגון כיול אי-ודאות, עקיבות, עמידות בפני תשומות מניפולטיביות או איכות בתנאים חריגים, מקבלים משקל נמוך יותר. מודל יכול לספק הדגמה מרשימה ועדיין להיכשל במצבים נדירים אך מכריעים. לכן, במיוחד ברכש ציבורי, הדגמת מגבלות ניתנות לשליטה חייבת להיות חשובה יותר מהבטחות ביצועים רטוריות.

לכך מתווספת תחרות פוליטית על מנהיגות טכנולוגית. כאשר מדינות חוששות מפגרות במרוץ הבינה המלאכותית הצבאית, נכונותן לדבוק בהליכי בדיקה איטיים פוחתת. הדילמה הביטחונית ברורה: כל צד מאיץ משום שהוא מצפה שהצד השני יעשה את אותו הדבר. זה יכול להוביל לפריסת מערכות לפני שסטנדרטים, אימון ונהלי בדיקה מפותחים במלואם. מנקודת מבט של מדינה בודדת, זה נראה הגנתי; עם זאת, באופן קולקטיבי, זה מגביר את הסבירות לפרשנויות מוטעות ולהסלמה לא מכוונת.

לכן, מדיניות כלכלית נבונה חייבת להתייחס לחדשנות ובקרה כהשקעות משלימות. משילות אינה מכשול חיצוני, אלא חלק בלתי נפרד מהטכנולוגיה. מערכת בינה מלאכותית ללא רישום אמין, אחריות ברורה ונהלי גיבוי אינה מוצר מוגמר, אלא תהליך ייצור לא שלם. אין לראות את עלויות הבקרה רטרוספקטיבית כמטען רגולטורי. הן שייכות לתיק העסקי מלכתחילה.

מיזוג נתונים ללא ערובה לאמת

התקרית המדווחת גם מאלפת משום שנאמר כי הצ'אטבוט מיזג מקורות מידע שונים. מיזוג נתונים נשמע כמו רווח ידע, אך הוא יכול להסוות אי ודאות. מקורות פתוחים מכילים שמועות, ערכים מיושנים, דיסאינפורמציה מכוונת וטענות שהועתקו זה מזה. אותות סודיים יכולים להיות בעלי ערך, אך גם הם דורשים פרשנות ועשויים להיות לא שלמים. שילוב שני התחומים עם מודל שפה יחיד אינו מייצר באופן אוטומטי אמת טובה יותר.

מודלים גנרטיביים פועלים עם קשרים סטטיסטיים וסבירות לשונית. הם יכולים להפוך ראיות סותרות לנרטיב קוהרנטי, גם כאשר הנתונים אינם מאפשרים מסקנה חד משמעית. קוהרנטיות זו עצמה מושכת: אנשים אינם מקבלים אוסף כאוטי של שברים, אלא תשובה מובנת. עם זאת, ניתן לטעות בביטול סתירות לשוניות כביטול אי ודאות לכאורה. המודל מסדר את העולם, גם אם לא ניתן לסדר את העולם באופן סופי באותו רגע.

עבור שירותי מודיעין, מקור המידע הוא קריטי. כל הצהרה חייבת להישאר ניתנת למעקב עד למקורה המקורי. יש לזהות האם המידע נצפה, הוסכם, הונח או נוצר על ידי מכונה. חשובים לא פחות הם חותמות זמן, רמת סיווג, הערכת מהימנות וסמנים נגדיים ידועים. בינה מלאכותית לא צריכה להמיס מאפיינים אלה לטקסט אחיד וזורם, אלא לשמר אותם באופן גלוי.

לעצמאות המקורות יש משמעות גם מבחינה כלכלית ואנליטית. עשרה דיווחים אינם מהווים עשרה אישורים אם כולם מבוססים על אותו דיווח מקורי. מערכות בינה מלאכותית יכולות להתעלם מתלות כאלה או שלא להציג אותן בצורה שקופה. במרחבי מידע פתוחים, רוב כוזב יכול להיווצר במהירות מכיוון שפורטלי חדשות, מדיה חברתית ומסדי נתונים מגבירים את אותה טענה. לכן, תהליך חזק חייב לא רק לספור מקורות אלא גם לבחון את הקשרים הגנאלוגיים שלהם.

בנוסף, קיים סיכון של מניפולציה של נתוני קלט. אם יריבים יודעים שמערכות אוטומטיות משלבות מקורות פתוחים ונתוני איתות, הם יכולים להטעות במכוון. תוויות מטען כוזבות, פרסומים מתואמים או מסמכים מעוותים עלולים להעדיף סיווג רצוי. מערכת מותאמת למהירות הופכת אפוא למטרה להתקפה. לכן, אבטחת בינה מלאכותית כוללת לא רק שגיאות מודל אלא גם הטעיה אסטרטגית.

אי אפשר להפוך אחריות לאוטומטית

לאחר תקרית קריטית, מתחיל לעתים קרובות החיפוש אחר אשם יחיד. ייתכן שהאנליסט עבד בצורה לא ביקורתית, ייתכן שמנהל פעל בחיפזון יתר, או ייתכן שספק לא הסביר כראוי את מגבלות המוצר שלו. עם זאת, גישה המבוססת אך ורק על כוח אדם אינה יעילה. אם אנשים רבים סבירים בתוך מערכת שתוכננה בצורה גרועה יכולים לעשות את אותה טעות, אזי מדובר בבעיה ארגונית.

לכן, האחריות חייבת להיות מעוגנת במספר רמות. המשתמשים אחראים ליישום ותיוג נכונים. מפקחים אחראים לאישורים, הקצאת משאבים ועומס עבודה. מחלקות רכש חייבות להגדיר דרישות לאבטחה ומעקב. מנהלים טכניים חייבים להיות מסוגלים לבדוק ולנטר מודלים ולחסום אותם במקרה של אנומליות. לבסוף, ההנהגה הפוליטית חייבת להחליט אילו משימות ניתן להאציל למערכות יצירתיות.

אסור לפזר את האחריות בצורה כה רחבה שבסופו של דבר אף אחד לא יישא באחריות. ארכיטקטורת תפקידים ברורה דורשת, בפרט, בעלים ספציפיים למודל, לנתונים, למקרה השימוש ולמהדורה. עבור כל דוח קריטי, יש לעקוב אחר מי אישר את למידת החישוב, מי סקר את התוצאה ומי אישר את השימוש המבצעי בה. מעקב זה משמש לא רק לאישור, אלא, מעל הכל, ללמידה.

ארגון לומד זקוק לתרבות שבה ניתן לדווח על כמעט התקפות. מקרה זה הוא בעל ערך דווקא משום שהפעולה לכאורה הופסקה. אם המיקוד הוא אך ורק על ענישה אישית, משתמשים עתידיים נוטים יותר להסתיר טעויות. לעומת זאת, אם הפרות נסבלות ללא השלכות, התמריץ לחריצות הולך לאיבוד. מה שדרוש הוא תרבות אבטחה הוגנת: סנקציות ברורות על הפרות כללים מכוונות או רשלניות בוטות, אך גם מנגנוני דיווח מאובטחים על שגיאות ופגיעויות שנחשפו בצורה שקופה.

בארכיטקטורה זו, מכונה אינה יכולה לקחת אחריות מוסרית או משפטית. אין לה כוונה, תחושת חובה או הבנה של השלכות גיאופוליטיות. גם אם מודל מנסח המלצה, ההחלטה נותרת אנושית מבחינה מוסדית. לכן, מונחים כמו "הבינה המלאכותית החליטה" או "האלגוריתם אשם" מטשטשים את מי שעיצב את התהליך והאציל סמכות.

מודל בקרה חזק עבור בינה מלאכותית בסיכון גבוה

מודל בקרה יעיל מתחיל בסיווג קפדני של מקרי שימוש. משימות בעלות סיכון נמוך כגון תרגום, תזמון או עיצוב ניתנות לאוטומציה תחת כללי אבטחה כלליים. לעומת זאת, ניתוחים המשפיעים על בחירת מטרות צבאיות, הפצת נשק גרעיני, זיהוי יריבים או התערבויות מבצעיות שייכים לקטגוריית הסיכון הגבוהה ביותר. אלה דורשים מערכות נפרדות, משתמשים שהוכשרו במיוחד ונהלי אישור מחמירים משמעותית.

בצד הנתונים, שרשרת מקור מלאה היא חיונית. יש לתעד קלט, גרסאות מודל, הוראות מערכת, מסמכים שאוחזרו, שלבי ביניים, שינויים אנושיים ושחרור סופי. המטרה אינה להפיץ מידע סודי שלא לצורך, אלא לאפשר ביקורת לאחר מכן, ובאופן אידיאלי, מתמשכת. ללא עקבות אלה, איש אינו יכול לשחזר באופן מהימן כיצד הגיעו למסקנה.

מבחינת התוכן, כל טענה תוצאתית צריכה להיות מאושרת על ידי לפחות שיטה אחת שאינה תלויה בפלט הבינה המלאכותית. זה יכול להיות סקירה ידנית של המסמך המקורי, מדידה טכנית, מקור נתונים שני או יחידת ניתוח נפרדת מבחינה ארגונית. שתי תגובות מאותו מודל, או משני מודלים עם נתוני אימון דומים, אינן מהוות עצמאות אמיתית. הן יכולות לחזור על אותה שגיאה תוך שימוש בניסוח שונה.

יתר על כן, יש לאפשר למערכת לבטא אי ודאות. בינה מלאכותית שתמיד מצופה לספק תשובה חד משמעית נאלצת לתחושת דיוק כוזבת. במקרים של נתונים לא מספקים, הפלט הנכון חייב להיות מסוגל לקבוע כי סיווג אמין אינו אפשרי. השמטה זו לא צריכה להתפרש אוטומטית ככישלון במדדי ביצועים. בסביבות בעלות סיכון גבוה, ביטוי בזמן של אי ודאות הוא לעתים קרובות בעל ערך רב יותר מהנחה חפוזה.

יש להגדיר בבירור ספים תפעוליים. ניתוח יחיד הנתמך על ידי בינה מלאכותית אינו צריך להספיק כעילה מספקת לשימוש בכוח. ככל שפוטנציאל הפגיעה גבוה יותר, כך נדרשים יותר אישורים עצמאיים ורמות היררכיות. במקביל, צוות אדום צריך להיות מחויב לפתח הסברים חלופיים. משימתו אינה לשפר מעט את ההשערה הרווחת, אלא להפריך אותה באופן פעיל.

לבסוף, יש צורך במנגנוני כיבוי טכניים וארגוניים. מודל בעייתי חייב להיות ניתן להסרה מתהליכים קריטיים בהתראה קצרה מבלי לגרום לקריסת כל הפעילות. זה דורש הליכי גיבוי ידניים. ארגונים המפרקים את כל היכולות הקיימות שלהם רק משום שבינה מלאכותית נראית בתחילה יעילה יותר הופכים לתלויים ומאבדים את יכולתם לפעול במקרה של תקלה.

לקחים לעסקים ולמנהל הציבורי

למרות שמקור האירוע במרחב הצבאי, דפוסיו הבסיסיים חלים גם על עסקים. שיפוט שגוי שנוצר על ידי בינה מלאכותית יכול להשפיע על החלטות אשראי, בדיקות תאימות, פעולות כוח אדם, הערכות ספקים או השקעות אסטרטגיות. היקף הנזק בדרך כלל קטן יותר מאשר בהסלמה צבאית, אך ההיגיון מאחורי השגיאות דומה. תהליכים שבהם תוצאה שנוצרה על ידי מכונה מומרת לפורמט מסמך מוכר ולאחר מכן מועברת הלאה ללא כל מקור נראה לעין הם מסוכנים במיוחד.

לכן, חברות צריכות להבחין בין סיוע לקבלת החלטות. מערכת יכולה לחפש מידע, ליצור טיוטות ולהדגיש סתירות פוטנציאליות. עם זאת, האחריות להחלטה הדורשת אישור נותרת בידי אדם מוסמך. אדם זה זקוק לגישה למקורות ועליו לא רק לראות את הנרטיב הסופי. מי שמאשר רק סיכום שנכתב באופן מקצועי אינו בודק את התוכן, אלא את פני השטח שלו.

יש צורך להתאים גם מדדי ביצוע מרכזיים (KPI). מדידת פרויקט בינה מלאכותית אך ורק לפי זמן שנחסך יוצרת תמריצים מעוותים. משמעותיים יותר הם מדדים משולבים, כולל פרודוקטיביות, שיעור תיקון, חומרת שגיאות, שיעור ההצהרות הניתנות לאימות ומספר אי-הוודאויות שזוהו במועד. עבור תהליכים בסיכון גבוה, יש להעריך גם באיזו תדירות בני אדם מעלים התנגדויות תקפות לבינה המלאכותית. שיעור התנגדויות אפס עשוי להצביע על טכנולוגיה מושלמת, אך סביר יותר להצביע על חוסר פיקוח.

עבור עסקים בינוניים, פיתוח פתרון טכני פנימי לחלוטין הוא בדרך כלל לא מציאותי. עובדה זו הופכת חוזים ברורים עם ספקים לחשובים עוד יותר. חברות זקוקות למידע על שינויים במודלים, מיקומי אחסון, קבלני משנה, רישום נתונים, אירועי אבטחה ושימוש בנתונים שהוזנו. שירות זול יכול להפוך יקר אם מידע רגיש דולף או החלטות הופכות לבלתי ניתנות לביקורת.

המנהל הציבורי ניצב בפני אתגר נוסף. החלטותיו חייבות להיות לא רק יעילות כלכלית, אלא גם חוקיות, שקופות וניתנות לערעורים. ככל שהבינה המלאכותית מעצבת יותר את ההצדקה להחלטה, כך תיעוד ברור הופך להיות חיוני יותר. אסור להטעות אזרחים ועסקים עם ההסבר שמודל זיהה סיכון. פעולה ממשלתית דורשת הסבר מוצדק, מוצדק מבחינה אנושית.

מדיניות חדשנות בין תחרות לאמצעי זהירות

הסכסוך הפוליטי מתואר לעתים קרובות כבחירה בין עוצמה טכנולוגית לרגולציה. ניגוד זה פגום. מדינות שפורסות באופן חסר אחריות בינה מלאכותית בסיכון גבוה עשויות להשיג יתרון לטווח קצר, אך בטווח הארוך הן מסתכנות באובדן אמון, ביכולת ליצור בריתות ואמינות תפעולית. כישלון מרהיב יכול לעכב פרויקטים, להקפיא תקציבים ולהגביר את התנגדות הציבור. לכן, רגולציה יעילה מגנה גם על חדשנות.

יחד עם זאת, אסור שאמצעי זהירות יובילו לאיסורים גורפים אשר פוגעים שלא לצורך ביישומים אזרחיים ובעלי סיכון נמוך. גישה מבוססת סיכון עדיפה מבחינה כלכלית. היא מרכזת משאבים במקומות בהם החלטות שגויות הן בלתי הפיכות, מערכתיות או מסכנות חיים. כללים שונים מתאימים לניסוח טקסט פשוט מאשר לבחירת מטרות, טיפול רפואי או תשתית קריטית.

קשה עדיין לקבוע סטנדרטים בינלאומיים. שקיפות צבאית מתנגשת עם סודיות, ומדינות מהססות לחשוף את יכולותיהן הטכניות. מציאותיים יותר מגילוי מלא הם סטנדרטים מינימליים נפוצים: סמכות אנושית על השימוש בכוח, בדיקות חובה, מנגנוני ביטול, אחריות ברורה וערוצי תקשורת לאירועים. כללים כאלה אינם מבטלים תחרות, אך הם יכולים להגביל את הפרשנויות המוטעות המסוכנות ביותר.

צעדים לבניית אמון בין ארה"ב לסין יהיו חשובים במיוחד. אם שני הצדדים ישלבו בינה מלאכותית בסיור ובתמיכה בקבלת החלטות, יגדל הסיכון שדיווח כוזב יתפרש כפרובוקציה מכוונת. ערוצי תקשורת צבאיים ישירים, נהלים לפתרון תקריות ימיות ומחויבויות פוליטיות לפיקוח אנושי יוכלו להפחית את הסיכון להסלמה. התועלת שלהם דומה לביטוח: בפעולה רגילה, הם נראים חסרי ייחוד, אך במשבר, הם יכולים למנוע נזק עצום.

גם בעלות ברית וחברות טכנולוגיה נושאות באחריות. מודלים, תשתיות ענן וכלי נתונים מפותחים לעתים קרובות על ידי ספקים פרטיים. מצב זה מעביר חלק מיצירת הערך הצבאי לחברות שמחזורי החדשנות שלהן ולוגיקת האחריות שלהן לא תוכננו עבור משברים גיאופוליטיים. לכן, מדיניות הרכש חייבת להבטיח שסוכנויות ממשלתיות ישמרו על שליטה טכנית, זכויות ביקורת ומומחיות פנימית מספקת.

הליבה האסטרטגית של התיק

התאונה הכמעט מוחלטת עם ספינה סינית חושפת אמת לא נעימה: הסיכון הגדול ביותר לטווח קצר בתחום הבינה המלאכותית לא בהכרח הוא מכונה הפונה נגד האנושות. סביר יותר שאדם יאמין בקלות רבה מדי למסר מכונה מנוסח בצורה משכנעת אך שקרי. הסכנה נובעת משילוב של אי ודאות טכנולוגית, לחץ זמן, היררכיה והרצון הפוליטי למהירות.

הגישה הנכונה אינה פאניקה טכנולוגית וגם לא אופטימיות עיוורת לגבי התקדמות. בינה מלאכותית גנרטיבית יכולה להגביר משמעותית את היעילות של ארגונים גדולים. עם זאת, היא אינה יכולה להחליף את שקידה אפיסטמית - כלומר, את החקירה הממושמעת של מקור הצהרה, עד כמה היא אמינה, ואילו ראיות סותרות קיימות. ככל שהכלי חזק יותר, כך שקידה זו הופכת לחשובה יותר.

מנקודת מבט כלכלית, הטמעת בינה מלאכותית חייבת לקחת בחשבון את כל הערך הצפוי. זה כולל עלייה בפריון כמו גם עלויות בדיקה, טעויות בשיפוט, אחריות, נזק תדמיתי וסיכונים מערכתיים. במקרים של השלכות קטסטרופליות שעלולות להיות, לא מספיק שמודל יהיה שימושי בממוצע. על הארגון להדגים את יכולתו לזהות ולמנוע שגיאות נדירות וקריטיות.

ההצלחה המכרעת של אירוע זה טמונה בעובדה שאנשים הצליחו לבטל את המבצע. עם זאת, ארכיטקטורת אבטחה אינה יכולה להסתמך על התערבות של אנשים ערניים ברגע האחרון. יש לתכנן אותה באופן כזה שמידע מפוקפק לעולם לא יגיע לשלב התכנון המבצעי ללא סימון. יש לבצע בדיקות מוקדם, שוב ושוב ובאופן עצמאי.

לטעות זה אנושי. מכונות טועות אחרת: מהר יותר, בצורה גמישה יותר, ולעתים קרובות באופן משכנע מבחינה לשונית. הטעות הופכת לאסון רק כאשר מוסדות מבלבלים בין מאפיינים אלה לבין ידע. הלקח המרכזי, אם כן, אינו להוציא בני אדם מתהליך קבלת ההחלטות או להשאיר אותם שם באופן סמלי בלבד. מדובר בבניית ארגונים שבהם ספק מוערך יותר ממהירות ברגע שוודאות כוזבת עלולה לעורר מלחמה.

מרקוס בקר

אשמח לשמש כיועץ האישי שלך.

ראש מחלקת פיתוח עסקי

יו"ר קבוצת העבודה להגנה של SME Connect

לינקדאין

Konrad Wolfenstein

אשמח לשמש כיועץ האישי שלך.

ניתן ליצור איתי קשר בכתובת wolfenstein∂xpert.digital או

פשוט התקשרו אליי למספר +49 7348 4088 965 .

לינקדאין