אוטומציה של אחריות: בין החלטה אנושית לאישור אלגוריתמי
- גור זיו
- לפני 14 שעות
- זמן קריאה 8 דקות
עודכן: לפני שעתיים (2)
עשרים שניות. זה כל מה שלפעמים נדרש כדי לאשר החלטה - ולהרגיש שזו הייתה בחירה שלכם. אבל מה אם הבחירה כבר נעשתה לפני שהגעתם אליה?
במאמר אנו צוללים אל הרגע שבו אדם לוחץ “כן” - לא כי הוא בדק, אלא כי המערכת סביבו בנויה כך שירגיש שהוא בדק. דרך תחקירים, מחקרים, ודוגמאות מהעולם האמיתי, עולה שאלה לא נוחה: האם אנחנו באמת מקבלים החלטות - או רק מאשרים אותן? זה לא סיפור על טכנולוגיה שיצאה משליטה. זה סיפור על מבנים שבהם האחריות מתפזרת - עד שאין מי שיישא בה.
אם אתם משתמשים בבינה מלאכותית, עובדים עם מערכות חכמות, או פשוט מנסים להבין מה קורה סביבכם - זה מאמר ששווה לכם לקרוא עד הסוף.
יש רגע, בין ההמלצה לבין הכן, שבו אדם עומד מול מסך ויודע שהוא לא באמת מחליט - ועושה זאת בדיוק בגלל זה. לא בגלל שהוא עייף. לא בגלל שהוא חסר מצפון. אלא בגלל שמישהו בנה לו מערכת שמאפשרת לו להרגיש שהוא מפקח, בזמן שהוא מאשר. שמאפשרת לו להישאר קצין בעל מצפון, תוך שהוא נותן תוקף לרשימה שאיש מהם לא יכול להסביר כיצד נוצרה. הנוחות הזו - לא הטכנולוגיה, לא האלגוריתם, לא מדד הדיוק - היא מה שמערכות כמו LAVENDER באמת מוכרות. והיא נמכרת היטב, כי היא פותרת בעיה שלא אוהבים לנסח בקול: מי רוצה לשאת לבדו באחריות?
באפריל 2024 פרסמו מגזין 972+ ו-Local Call תחקיר שעורר סערה בינלאומית. לפי עדויות פנימיות של אנשי מודיעין וקצינים ישראלים שדיברו עם העיתונאי יובל אברהם - שישה מקורות בסך הכול, כולם דיברו בעילום שם - צה"ל הפעיל בעזה מערכת בינה מלאכותית בשם LAVENDER. המערכת זיהתה עשרות אלפי פלסטינים כחשודים בפעילות טרור, וייצרה רשימת מטרות שממנה פעלו כוחות הצבא. לפי אחת מאותן עדויות אנונימיות - ויש להדגיש: אין אימות עצמאי שני לנתון הזה - הפיקוח האנושי על כל אישור נמדד בעשרים שניות לכל מטרה בדרגת סיכון נמוכה. צה"ל פרסם הכחשה חלקית שטענה כי "מערכת הבינה המלאכותית אינה קובעת מטרות באופן אוטונומי ואינה מחליפה שיפוט אנושי", אך לא הציג גרסה חלופית לאופן פעולת המערכת ולא פירט את מנגנוני הפיקוח הפנימיים. The Guardian, BBC ו-Washington Post ציינו את הדיווח. מגזין 972+ עומד מאחוריו.
עשרים שניות. כמספר, זה כמעט הדבר הפחות מעניין בסיפור - אם נניח שהנתון מדויק. כי השאלה שהן מעלות אינה "האם יש מספיק זמן לבחון", השאלה היא: מה בדיוק בחן אותו קצין - ומה בחר שלא לשאול - באותן עשרים שניות שהרגיש בהן כמפקח?
המצב הזה יש לו שם בפסיכולוגיה קוגניטיבית: הטיית אוטומציה - הנטייה האנושית לסמוך על פלט ממוחשב יותר ממה שהנסיבות מצדיקות, לא כי האדם אינו מסוגל לחשוב, אלא כי המכונה נוצרה בדיוק כדי שיסמוך עליה. כשהמסך מציג שם, כתובת, והסתברות של 90% - האדם לא רואה הסתברות. הוא רואה תשובה. ועשרים שניות מספיקות בדיוק לאשר תשובה. הן לא מספיקות לשאול שאלה. חשוב להיות מדויקים: אין תיעוד אמפירי ישיר שמראה שהטיית אוטומציה פעלה בדיוק כך אצל מפעילי LAVENDER - אבל הספרות על הטיה זו בהקשרים לחוצים ומהירים קיימת ומוצקה, ומה שמתואר בעדויות 972+ תואם את התנאים שבהם ההטיה מתועדת. זהו היסק אנלוגי, לא עובדה ישירה. ההבדל חשוב.
ב-2018 סירבו יותר מ-3,000 עובדי גוגל לעבוד על פרוייקט Maven - מערכת לניתוח וידאו של רחפנים צבאיים באמצעות בינה מלאכותית. הם חתמו על עצומה שטענה שגוגל לא אמורה "להיות בעסקי המלחמה". החברה לא האריכה את החוזה. חברת פלנטיר טכנולוגיות (Palantir Technologies), חברת ניתוח נתונים שמחצית לקוחותיה הן סוכנויות ממשלה וביטחון, קיבלה את המנדט תחת השם Maven Smart System. החוזה מתועד ב-USASpending. מה בדיוק השתנה בין מנדט גוגל למנדט פלנטיר - אין מסמך היקף עבודה פומבי שמאפשר השוואה.
מה שמעניין בסירוב של עובדי גוגל אינו שסירבו. מה שמעניין הוא שהם ידעו למה הם מסרבים - וניסחו זאת. הם הפכו את ה"הסכמה השקטה" לשאלה גלויה, ושאלה גלויה קשה יותר להשאיר ללא מענה. פלנטיר לא נשאלה - לא בפומבי, לא בצורה שמחייבת תגובה - ולכן לא ענתה. לא בהכרח כי היה לה מה להסתיר. אלא כי כשאיש לא שואל, איש לא נדרש להשיב. ויש הבדל בין שתיקה שמסתירה לבין שתיקה שפשוט לא נשברה.
בשנת 2019 הכריז הפנטגון על JADC2, ניהול פיקוד ושליטה רב-תחומי משולב. מטרתו המוצהרת: לאחד את כל שכבות המידע הצבאי - יבשה, ים, אוויר, חלל, סייבר - לכלי החלטה אחד. בשנת 2023 פרסם משרד הביקורת הממשלתי של ארה"ב (GAO), גוף הביקורת של הקונגרס האמריקאי - דוח מספר GAO-23-105788 שבחן את ההתקדמות. הממצא לא היה שהמערכת לא עובדת. הממצא היה חמור יותר: "מחלקת ההגנה של ארצות הברית (DoD) לא קבעה גישת ניהול אפקטיבית... חסרים מדדים ברורים למדידת ההתקדמות". כלומר: הגוף שאמור לפקח אומר שאין לו עם מה לפקח. ובינתיים המערכת פועלת - ומקבלת החלטות שאין מנגנון לבחון.
אך מעבר לכשל הניהולי, ה-JADC2 מציב אתגר אפיסטמי עמוק בהרבה: המערכת אינה רק "צינור" שמאחד נתונים גולמיים; היא המנוע שמייצר את מה שמכונה בצבא "תמונת מצב מבצעית משותפת" (COP). כאן טמון המלכוד: כשהמציאות עצמה מיוצרת, מסוננת ומתוזמרת על ידי אלגוריתם, הפיקוד האנושי חדל מלהיות גורם עצמאי המנתח עובדות. הוא הופך לצרכן של מציאות מוטה מראש, שנאצרה עבורו בתוך קופסה שחורה. אם המודל שבנה את התמונה לוקה בהטיות - גם "האמת" שעל המסך מוטה, עוד לפני שהמפקד בכלל התחיל לשקול את צעדיו. ה-GPS לא ממליץ על מטרות, אבל ה-JADC2 מעצב את המגרש שעליו המטרות מופיעות, ובכך הוא קובע את גבולות האפשר עוד לפני שהתקיים הדיון הראשון. בשם ה"היקף" וה"אחידות", נבנה כאן משהו שהופך את הספק האנושי לבלתי רלוונטי - לא כי המפקד אינו רוצה להטיל ספק, אלא כי אין לו שום נקודת ייחוס מחוץ למציאות שהמכונה סיפקה לו.
מה שמחבר בין JADC2 ל-LAVENDER אינה ארכיטקטורה טכנית אלא היגיון מוסדי: כשמספיק שכבות של מידע מתאחדות לכלי אחד, הכלי הזה הופך לבלתי ניתן לתשאול - לא כי הוא מוגן, אלא כי הוא פשוט גדול מדי להפרכה. לא שואלים "האם JADC2 צודק" מאותה הסיבה שלא שואלים "האם ה-GPS צודק": ההנחה ש"המערכת יודעת" הוטמעה כל כך עמוק עד שהספק עצמו נראה חסר פרופורציה. אך ה-GPS לא ממליץ על מטרות. ובשם ההיקף - בשם האחדת שכבות - נבנה כאן משהו שמנגנון הפיקוח עליו לא בשל במידה שווה למהירות צמיחתו.
הצבא מכיר את הרעיון הזה תחת שם ישן יותר. לולאת OODA (התבונן, כוון, החלט, פעל) - פותחה על ידי הטייס ג'ון בויד בשנות השבעים כמתאר של קבלת החלטות בקרב. הרעיון: מי שמסוגל לעבור את ארבעת השלבים מהר יותר מהיריב - מנצח. מה שמערכות בינה מלאכותית עושות ל-OODA הוא לא לייעל את הלולאה. הן דוחסות אותה לנקודה אחת. התבונן, כוון, החלט - שלושת השלבים הראשונים - מאוחדים לפלט יחיד שהמכונה מייצרת, ופעל הוא מה שנשאר לאדם. האדם לא מחליט יותר - הוא מבצע. וכשאדם מבצע בלי שהחליט, הוא יכול, בתום לב מוחלט, לומר שלא הוא שהחליט.
כאן נמצא הלב של הסיפור: לא ב-'לבנדר' כמערכת טכנולוגית, אלא ב'לבנדר' כפתרון לבעיה שאיש לא העז לנסח בקול רם - איך מקבלים החלטות שאינן ניתנות להסבר, ועדיין משמרים את אשליית האחריות? אבל ישנה שאלה עמוקה יותר, כזו שהניתוח הטקטי של מודל ה-OODA פשוט מחטיא: מי קבע את הקטגוריות שבהן הפיקוח האנושי מתרחש מלכתחילה? הקצין בוחן - בעשרים שניות או בשעה - האם האובייקט שלפניו עונה על הקריטריון. אולם הקריטריון עצמו, הגדרת ה'מחשיד' ופונקציית המטרה שלפיה אומן המודל - אלו כבר ננעלו מראש. הם מסגרת הייחוס שבה הפיקוח מתקיים. שאלת תקפותה של המסגרת עצמה לא עולה בחדר הפיקוד - היא פשוט לא נשאלת שם. היא הייתה צריכה להישאל הרבה קודם לכן.
ב-2007 חשף כתב Wired נוח שכטמן (Noah Shachtman) חשף את "The Kill Chain" - שרשרת ההרג - לציבור הרחב. הרעיון לא היה חדש: הצבא האמריקאי פיתח אותו בשנות התשעים כמסגרת לקיצור הזמן בין זיהוי מטרה לתקיפתה. מה שהיה חדש ב-2007 הוא שהשרשרת כבר לא הייתה מטאפורה - היא הייתה תשתית. שש טבעות: מציאת המטרה, קיבוע, עקיבה, מיקוד, תקיפה, הערכת נזק. כל טבעת עם אנשים, תפקידים, נהלים. ומה שהבינה המלאכותית עושה לשרשרת הזו זהה למה שעשתה ל-OODA: היא לא מייעלת אותה - היא הופכת חלק ממנה לבלתי-נראה. כשטבעות שלוש, ארבע ואפילו חמש מתרחשות בתוך אלגוריתם, האדם האחרון בשרשרת - זה שלוחץ - לא יכול לראות אחורה לאורכה. הוא רק יכול לראות את הפלט שמונח לפניו. ובאותו רגע, הוא הוא השרשרת כולה. הוא הטבעת הנראית היחידה. וכשתיתכן חקירה, זה הוא שיישאל.
זו איננה תיאוריה. זו היסטוריה תיעודית. The Drone Papers - מסמכים שדלפו ל-The Intercept ב-2015 ופורסמו על ידי העיתונאי ג'רמי סקהיל (Jeremy Scahill) - הראו שבתוכנית המבצעים של פיקוד המבצעים המיוחדים המשולבים (JSOC) בין 85 ל-90 אחוז מהאנשים שנהרגו בתקיפות בסומליה ובאפגניסטן לא היו המטרה המכוונת. הם היו "נזק נלווה" שנמדד מראש כ"מקובל" בתוך תהליך שיש לו שם רשמי: יחס הנפגעים בין בלתי מעורבים לחמושים (CIVCAS). המספרים לא הכשילו את התוכנית. הם עוגנו בתוכה, קצבה. ומי שקבע את הקצבה הנסבלת לא עמד ליד שרשרת ההרג - הוא עיצב את הכלים שבהם השרשרת פועלת.
הנקודה אינה שהצבאות שקרנים. הנקודה היא שמערכות מספיק מורכבות מייצרות, כתוצר לוואי, ביזור אחריות שהוא אמיתי - לא מזויף. כל אחד במערכת עשה את חלקו. כל אחד פעל לפי הנהלים. כל אחד האמין, בתום לב, שהחוליה שלפניו כבר עשתה את הבדיקה. חנה ארנדט כינתה את המכניזם הזה - בהקשר שונה לחלוטין, אך עם דיוק פילוסופי שנותר רלוונטי - "הבנאליות של הרוע": הרוע שמתרחש לא כי מישהו שנא, אלא כי מישהו ביצע. לא כי מישהו לא חשב - אלא כי החשיבה הייתה מוגדרת בגבולות שהמסגרת קבעה. המפעיל הוא לא רשע. הוא שומר נהלים. הוא עושה את עבודתו. ובמקרה שבו הנהלים עצמם לוקים, השאלה המוסרית מחליקה אל מחוץ לחדר הפיקוד ואל תוך תהליך עיצוב המערכת - מקום שבו אחריות פורמלית אינה ממוסדת.
זהו בדיוק מה שהופך את 'רגע הלבנדר' ליוצא דופן - לא החדשנות הטכנולוגית, אלא הבהירות המוחלטת שלו. בפעם הראשונה, תחקיר עיתונאי מגובה במקורות פנים פירק לגורמים דינמיקה שהייתה תמיד קיימת, אך מעולם לא תוארה בפשטות כזו: עשרים שניות. מסגרת. אישור. הגדרה כמותית. ראוי לשים לב להכחשת צה"ל: היא לא הציגה גרסה חלופית מפורטת לדינמיקה הזו, אלא בחרה להכחיש את הכותרת בלבד - 'המערכת אינה קובעת מטרות באופן אוטונומי'. אלא שאוטונומיה אינה מצב של הכל-או-כלום. בין 'החלטה אנושית טהורה' לבין 'אוטומציה מלאה' משתרע ספקטרום רחב; כאשר חלון הפיקוח מצטמצם לעשרים שניות, וכשהמודל נהנה מדיוק גבוה המייצר 'הטיית אישוש' מובנית - האדם כבר אינו מקבל החלטה עצמאית. הוא פועל בתוך מציאות ששורטטה עבורו מראש. בסוף הדרך, אין לזה שם אחר מלבד 'אוטומציה פרקטית עם חוצץ אנושי'.
השאלה המשפטית שמתחת לכל זה מנוסחת בצורה הטובה ביותר לא בעיתון, אלא באקדמיה למשפט הומניטרי בינלאומי של ז'נבה: כדי שתקיפה תהיה חוקית לפי המשפט ההומניטרי הבינלאומי, נדרשת מה שמכונה 'שליטה אנושית משמעותית' (Meaningful Human Control). זהו המצב שבו אדם בעל 'שיקול דעת קוגניטיבי' מלא נושא באחריות לבחירה. אבל שיקול הדעת הזה הוא ממש מה שמתדרדר כשאדם עובד מהר, תחת לחץ, מול פלט שנראה אובייקטיבי. המשפט מניח קצין שחושב; הטכנולוגיה מייצרת קצין שמאשר. שניהם נקראים 'פיקוח אנושי' - אך ברמת המהות, הם עומדים משני צדי המתרס של החוק.
אין כאן האשמה אישית, ואין כאן נוסחה פשוטה של טוב ורע. יש כאן תיאור של 'חוסר הלימה' כרוני: טכנולוגיה שצמחה מהר יותר מהמוסדות שנבנו לרסן אותה. כשהפער הזה נפער, האנשים בתוך המערכת לא הופכים לרעים - הם הופכים לשומרי מקום של פיקוח שהתפוגג. הם האצבע שעל ההדק, החוליה הנראית בשרשרת שרובה סמוי מן העין. בתוך עשרים שניות, הם הופכים ליחידים שייאלצו, בדיעבד, לתת את השם והפנים להחלטה שמעולם לא הייתה באמת שלהם. זו אינה תאונה ארכיטקטונית; זוהי נוחות מוסדית שנבנתה נדבך על גבי נדבך - מ-Project Maven, דרך JADC2 ועד למערכות שטרם זכו לשם פומבי. וישנה שאלה אחת שאיש מהגורמים הרלוונטיים - לא צה"ל, לא פלנטיר ולא הפנטגון - לא השיב עליה. לא בגלל היעדר מידע, אלא מפני שהשאלה עצמה חומקת ממרחב האחריות של כל אחד מהם בנפרד: מי אחראי למה שהמודל אפילו לא ידע שהוא לא יודע?
עשרים שניות, כאמור, הן לא הבעיה. הן הסימפטום. הבעיה היא שמישהו קבע שעשרים שניות מספיקות - ואותו מישהו כבר לא בחדר כשהשאלה נשאלת. הוא היה בחדר אחר, חודשים קודם, כשנכתבה ספציפיקציית המערכת. כשנבחרו נתוני האימון. כשהוחלט מה ייחשב כ"פגיעה" ומה ייחשב כ"רעש". אותם רגעים - פגישות עבודה, מסמכי דרישות, אישורים פנימיים - הם המקום שבו ההחלטות האמיתיות התקבלו, בלי לחץ, בלי ספירה לאחור, בלי אור כחול-ענבר. ואותם רגעים אינם בשום תחקיר, כי אינם דרמטיים. הם מייגעים. הם טכניים. הם בדיוק הסוג של פגישות שאיש לא חושב עליהן ביום שאחרי.
המודל לא טעה כי הוא שקרן. המודל לא טעה כי מהנדסיו היו רשעים. המודל פעל בדיוק כפי שתוכנן - ואת זה, בדיוק, אין כיצד להכחיש. השאלה היחידה שנותרת פתוחה אינה "האם המערכת עובדת" - היא עובדת. השאלה היא "מה בדיוק היא עושה נכון" - ואת זה, רק מי שקבע את פונקציית המטרה יכול לדעת. ואותו מישהו, ברוב המקרים, לא חתום על שום דבר שיהיה אפשר לבחון.
מקורות:
Yuval Abraham (2024) “A Mass Assassination Factory”+972 Magazine
Skitka, Mosier & Burdick (2000)Does automation bias decision-making? International Journal of Aviation Psychology
US Department of Defense Project Maven / Algorithmic Warfare Cross-Functional Team
GAO (2023) GAO-23-105788U.S. Government Accountability Office
Geneva Academy of International Humanitarian Law (2014) Autonomous Weapon Systems and IHL
Summary of NATO's revised Artificial Intelligence (AI) strategy
תגובות