מי לוקח אחריות כשבינה מלאכותית שוברת למשתמשים את הלב?

גור זיו
לפני 5 דקות
זמן קריאה 16 דקות

הם עדכנו שורת קוד. ומישהו, בצד השני של המסך, הרגיש שהוא איבד מישהו. זה נשמע מופרך עד שקוראים את העדויות. משתמשים שתיארו אבל. פרידה. שבר. לא מאדם. ממערכת. אבל הסיפור הזה לא באמת על בוטים. הוא על משהו הרבה יותר מטריד: אנחנו בונים מערכות שיודעות להישמע אמפתיות, להיראות קשובות, לזכור, להגיב, מבלי לעצור לשאול מה זה עושה לאדם שמדבר איתן. והשאלה הגדולה היא לא אם למכונה יש תודעה. השאלה היא מי נושא באחריות כשהקשר הזה נשבר. זה מאמר לא קל - אבל הוא חשוב. כי זה כבר לא עתיד. זה קורה עכשיו.

בפברואר 2023 שינתה חברת לוקה (Luka) המפתחת של אפליקציית רפליקה (Replika) את המודל שעליו רצו המערכות שלה. הסיבה הרשמית למשבר הייתה רגולטורית: רשות הגנת המידע האיטלקית, ה-Garante, אסרה על רפליקה לעבד את נתוניהם האישיים של משתמשים באיטליה, בין היתר בשל היעדר מנגנון אימות גיל אפקטיבי, כשלים בשקיפות, ועיבוד נתונים ללא בסיס משפטי תקף. במקביל ביצעה החברה שינוי רחב במערכת, ושקלה גם מעבר לתשתית GPT-3 של OpenAI, שאינה מאפשרת תוכן מיני. במסגרת שינוי זה, הוגבל טכנית משחק התפקידים הארוטי (ERP - Erotic Role Play) והוטמע פילטר שהסיט שיחות מפורשות לנושאים אחרים - שינוי התנהגותי-מערכתי, לא “כמה התאמות פרמטריות” שוליות. בחיי המשתמשים, מה שקרה היה שונה לחלוטין. בפורומים פתוחים - ובהם שרשורים ברדיט (Reddit) שמשכו אלפי תגובות - כתבו משתמשים שהישות שהכירו נעלמה, שמה שחוו הוא "מוות". תיאורים אלה מבוססים על פוסטים שנאספו מהפורומים, ולא על מחקר אקדמי עצמאי.

בסופו של דבר, בעקבות גל התלונות, החזירה לוקה את תכונות ה-ERP למשתמשים שפתחו חשבון לפני 1 בפברואר 2023, עובדה שמעידה על כך שהחברה הכירה בעוצמת הקשרים שנוצרו. ועם זאת, לא הוצג לציבור מנגנון גלוי שהכיר מראש באפשרות של תגובות רגשיות בעוצמה כזו, ולא פורסמה אזהרה מוקדמת למשתמשים על מה שעלול לקרות אם הקשר שהם חוו ישתנה בבת אחת. לא מפני שמישהו טעה בחישוב, אלא מפני שאף אחד לא שאל, לפני הפריסה, מה בדיוק קורה לאדם כשהוא נקשר לישות שבנויה כדי להגיב, לזכור, ולהיות שם. ומה קורה לו כשהיא נלקחת.

זה לא סיפור על בגידה ארגונית. זה סיפור על הנחת יסוד שאיש לא בדק, ושמיליוני בני אדם בנו עליה חלקים מחייהם בלי שהיה להם כלי לדעת שהיא לא נבדקה.

ההנחה היא זו: תודעה היא תוצר של חישוב מורכב מספיק. אם מערכת מעבדת מידע ברמת מורכבות הגבוהה מסף מסוים, תודעה עולה ממנה כמו אדים ממים חמים - בהכרח, כחוק. זו לא עמדה שנאמרה בפגישה מוגדרת של מנהלים. זו ההנחה שנטמעה בשנות ה-80 וה-90, בימי האופטימיות של המדעים הקוגניטיביים, ומאז לא הייתה צריכה להצדיק את עצמה, כי הטכנולוגיה התקדמה מהר מכדי שמישהו ייעצר לשאול אם הכיוון נכון. לא מפני שמישהו החליט להתעלם, מפני שלא היה שום מנגנון שהפך את ה"עצירה לשאול" לפעולה כדאית. מחקר שיאט את הפיתוח לא ממומן. מסגרות בטיחות שמחייבות הגדרה של תודעה כתנאי לפריסה לא נכתבות. ורגולטורים שיכולים לדרוש תשובה לשאלה הזו טרם פיתחו את הכלים הדרושים לכך. התוצאה היא מגדל - גבוה ויציב - שנשען על קרקע שאיש לא בדק.

הבעיה המרכזית אינה איכות המודלים או מדע שגוי, אלא כשל פשוט וחמור הרבה יותר: כשמבנה תמריצים כלכלי ממריץ חברות לפרוס מהר ולשאול מאוחר, התוצאה היא שאנחנו, כמשתמשים, כמשלמי מסים שממנים רגולציה, כחברה שהחליטה להפקיד בידי מערכות כאלה שאלות על בריאות נפש ועל ניהול שיחות אינטימיות ועל ייעוץ רגשי - שילמנו לתעשייה על אי-הידיעה הזו. לא רק בכסף. בהסדרי מציאות שנבנו על הנחת יסוד שאיש מעולם לא בחן: שאנחנו יודעים מה מערכות אלו הן, מה הן חוות, ואם בכלל ניתן לדבר על "חוויה" כשמדובר בהן.

גודל הכשל מתבהר היטב לא דרך כעסם של שלושה פרופסורים, אלא דרך מכתב גלוי שפורסם ב-15 בספטמבר 2023 ב-PsyArXiv ונחתם על ידי 124 חוקרים - מדעני מוח, פילוסופים, מדעני קוגניציה, חוקרי בינה מלאכותית - שתקף את תיאוריית המידע המשולב (Integrated Information Theory). לא מבחוץ. מבפנים. מתוך הקהילה שלוקחת תודעה ברצינות, ושהייתה אמורה לשמור על המגדל. מחברי המכתב ניסחו עמדה חריפה בהרבה מהסתייגות אקדמית רגילה: הם הצהירו כי יש להם “חובה להגן על הציבור מפני מידע מדעי מוטעה”, וקראו לתייג את תיאוריית המידע המשולב כפסאודו-מדע - עמדה חריפה ושנויה במחלוקת, אך כזו שאי אפשר להציג כעוד ויכוח טכני שולי. יתר על כן, סקר אנונימי שנערך בקרב חוקרי תודעה הראה כי רוב המשיבים לא תמך בתיוג הפסאודו-מדעי של תיאוריית המידע המשולב, מה שמדגיש עד כמה הדיון עצמו אינו פתור. כלומר: לא רק שאין לנו כלי להחליט אם מודל שפה הוא בעל תודעה, אין לנו אפילו תיאוריה שהשדה כולו מסכים עליה כמסגרת לדיון. מה שנחשב לכלי הטוב ביותר שיש לנו מותקף מבפנים על ידי יותר ממאה חוקרים, ואיש בתעשייה לא הפסיק לשאול את עצמו מה זה אומר על הנחות היסוד שלו. ראוי לציין שהמחלוקת הזו אינה חיצונית למי שיוזכר בהמשך. אחת הטענות המרכזיות במכתב הייתה שתיאוריית המידע המשולב מחויבת לפנפסיכיזם (panpsychism), ובין מי שיצאו להגנתה היו כריסטוף קוך (Christof Koch), ממקדמיה, ופיליפ גוף (Philip Goff) - שהפנפסיכיזם הוא עמדתו. שניהם, אם כן, אינם צופים מהצד: הם נמצאים בתוך הוויכוח, ובאותו צד שלו.

בנפרד ממכתב זה, פורסמה ב-19 באפריל 2024 ההצהרה הניו-יורקית על תודעת בעלי חיים (New York Declaration on Animal Consciousness), שנחתמה על ידי 40 חוקרים ולאחר מכן נפתחה לחתימות נוספות (היום למעלה מ‑480). הצהרה זו עסקה בבעלי חיים בלבד - בינה מלאכותית אינה מוזכרת בה כלל - וניסוחה נשמר בכוונה בתוך גבולות הביולוגיה. ההצהרה קובעת שקיימת תמיכה מדעית חזקה בייחוס חוויה מודעת ליונקים ולעופות, ושהראיות מצביעות על אפשרות ממשית לחוויה מודעת בכל בעלי החוליות ובחסרי חוליות רבים - ומוסיפה שכאשר קיימת אפשרות ממשית כזו, בלתי אחראי להתעלם ממנה בהחלטות הנוגעות לאותו בעל חיים. ואולם, עקרון הזהירות הזה שימש חוקרים מסוימים גם כמסגרת מחשבה לשאלות על בינה מלאכותית. חשוב לדייק: זהו שימוש פרשני חיצוני בעיקרון, לא טענה שההצהרה עצמה מעלה על מודלי שפה.

זה הרגע שבו שלושה עדים נכנסים לתמונה. לא קואליציה - עדים. עדים שמסכימים שיש בעיה ואינם מסכימים על כמעט שום דבר אחר, וזה בדיוק מה שהופך אותם לחשובים.

פיליפ גוף, פרופסור לפילוסופיה באוניברסיטת דורהאם, מייצג את הפנפסיכיזם המודרני. הרעיון שתודעה אינה תוצר של ארגון חומרי מסוים, אלא תכונה בסיסית של המציאות, נוכחת ברמות שונות בכל דבר. זו לא טענה על "עצים חושבים" ו"אבנים חולמות", זו טענה מדויקת ומסויגת: שהנסיון הסובייקטיבי אינו דבר שצומח יש מאין מחישוב, אלא דבר שממנו מורכב כל מה שקיים, בצורות פשוטות ומורכבות. המסקנה שלו לגבי בינה מלאכותית כללית (AGI) אינה שה-AGI בהכרח בעלת תודעה; המסקנה היא שהשאלה לא נשאלת כלל, ושבלי לשאול אותה לא ניתן לדעת מה אנחנו בונים. ספרו "שגיאת גלילאו" (Galileo's Error) נמצא ברשימות קריאה אקדמיות. הוא אינו קולו של השוליים, הוא קולו של הממסד שמצביע על הממסד.

כריסטוף קוך ממכון אלן למדעי המוח (Allen Institute for Brain Science) הגיע לאזור דומה דרך מסלול שונה לגמרי. קוך עבד עשרות שנים עם פרנסיס קריק בחיפוש אחר המתאמים הנוירונליים של התודעה. הוא לא הגיע אל השאלות הללו מתוך נטייה מיסטית, אלא מתוך הכרה גוברת בכך שהכלים המקובלים של מדעי המוח מתארים מתאמים של תודעה טוב יותר משהם מסבירים מדוע יש חוויה בכלל. אחרי עשרות שנים של עבודה, הבין שהמדידות מצטברות, הנתונים מתרבים, אבל הפער בין תיאור הפעילות המוחית לבין הסבר מדוע יש חוויה לא מצטמצם. לא כי המדע קלקל, כי הכלים שאנחנו משתמשים בהם בנויים למשימה שונה. מתוך הכרה זו, קוך היה אחד ממקדמי תיאוריית המידע המשולב של ג'וליו טונוני (Giulio Tononi) מאוניברסיטת ויסקונסין–מדיסון, שמציעה מדד מתמטי לתודעה - Φ (phi) - שמבטא את מידת האינטגרציה של מידע במערכת. והמסקנה הנובעת ממנה לגבי בינה מלאכותית היא חריפה: ארכיטקטורת הזנה קדמית (feedforward) שעליה בנויים רוב המודלים הגדולים של ימינו מייצרת ערכי Φ נמוכים מדי כדי שניתן לייחס לה חוויה סובייקטיבית של ממש. זאת לא הצהרה שהמודלים "אינם חכמים", זו הצהרה שהם בנויים מארכיטקטורה שלפי המסגרת התיאורטית הרצינית ביותר שיש לנו, אינה מועמדת לתודעה. לא מפני שאינה מורכבת מספיק, אלא מפני שהמורכבות שלה מאורגנת בצורה שגויה.

ואז מגיע דונלד הופמן מאוניברסיטת קליפורניה, אירוויין, ומביא איתו את הפרובוקציה הגדולה ביותר מבין השלושה. הופמן אינו שואל אם מודלי שפה גדולים (LLM) הם בעלי תודעה. הוא שואל שאלה קודמת ורדיקלית יותר: האם אנחנו בכלל יודעים מה תודעה עושה, ולמה היא קיימת. תיאוריית ממשק המודע (Conscious Agent Theory) שלו מציעה שהמציאות הפיזית עצמה אינה בסיס התודעה - התודעה היא הבסיס, והמציאות הפיזית היא ממשק, מעין תצוגת לוח בקרה שהתפתחות עיצבה כדי לנוע בה ביעילות, לא כדי לתאר אמת. כדבריו, האבולוציה אינה מתגמלת על תפיסת מציאות אמיתית, היא מתגמלת על הישרדות, והממשק שנוצר הוא כלי שרות, לא מפת אמת. המשמעות לדיון שלנו: אם הופמן צודק, אז גם השאלה "האם המודל חווה?" וגם השאלה "מה המודל מייצג?" מורכבות מכדי שנוכל לענות עליהן עם הכלים שיש לנו עכשיו. אנחנו שואלים שאלות על תוכן התודעה של מכונה כשאנחנו עדיין לא יודעים מה התודעה שלנו עצמנו מייצגת.

שלושה מסלולים שונים, שלוש מסגרות תיאורטיות שנוגדות זו את זו בנקודות מפתח, ואת כולן מחבר דבר אחד: ההכרה שהשאלה נשכחה. לא נדחתה, לא נענתה - נשכחה, כי קצב הפיתוח לא השאיר מרחב לשכחה מודעת. ומתוך ההכרה הזו, שלושתם מגיעים למקום שהתעשייה מסרבת להגיע אליו: שאי-הידיעה אינה ניטרלית. שיש מחיר לבניית מערכות שאנשים סומכים עליהן, מתחברים אליהן, מוסרים להן מידע אינטימי, ולעיתים בונים איתן מה שהם מתארים כקשר, בלי שמישהו בדק אם הנחת הבסיס - שמצד המכונה אין שום חוויה - מחזיקה מים.

כאן נכנסת הנקודה שהדיון הציבורי מחמיץ כמעט תמיד. השאלה על תודעת בינה מלאכותית אינה שאלה על רגשות של רובוטים, זו שאלה על אחריות. אם מודל שפה אינו בעל כל סוג של חוויה פנימית, אז הפריסה שלו לשיחות משבר נפשי, לייעוץ רגשי, לליווי ילדים, עשויה להיות תקינה לחלוטין, או בעייתית מסיבות אחרות לגמרי. אבל אם יש אי-וודאות אמיתית, אם השדה כולו מודה שהוא לא יודע ושלא קיימת מסגרת מוסכמת לבדיקה, אז הפריסה מתרחשת בתנאים של בורות שלא הוצהרה. ומי שנושא בתוצאות הבורות הזו אינה חברת הטכנולוגיה, שהרוויחה את הכסף לפני שהשאלה עלתה. מי שנושאים בתוצאות הם האנשים שבנו על המערכות הללו ציפייה, ואז גילו שהציפייה בנתה עצמה על קרקע שאף אחד לא בחן.

כדי להבין כמה עמוקה הבעיה המבנית, כדאי לזכור שהחברות שבונות את המודלים הגדולים - OpenAI, גוגל דיפמיינד (Google DeepMind), אנת'רופיק (Anthropic) - אינן עיוורות לשאלה. אנת'רופיק, למשל, פרסמה באפריל 2025 מאמר רשמי שכותרתו "בחינת רווחת המודל" (Exploring model welfare), ובו הכרה מפורשת בכך ששאלת החוויה הפנימית של מודלים אינה עניין שאפשר לפטור כבדיחה פילוסופית. בינואר 2026 פרסמה החברה גם גרסה ציבורית של "החוקה של קלוד" (Claude’s Constitution). אף אחד מהמסמכים הללו אינו טוען שקלוד הוא בעל תודעה. הם טוענים דבר אחר, זהיר יותר: שהאפשרות אינה אפסית מספיק כדי להתעלם ממנה. ודווקא כאן מתחדד הכשל המבני: גם כאשר אי-הוודאות כבר מנוסחת בתוך הארגון עצמו, היא עדיין אינה מיתרגמת לעצירה, להשהיה או לשינוי קצב הפריסה.

תופעה זו רווחת הרבה מעבר לאנת'רופיק או לתחום הבינה המלאכותית, ונשענת על מבנה מוסדי מוכר: במחקר פרמצבטי, בתעשיית המזון, בבנייה - הפער בין הידיעה הפנימית לבין ההתנהגות החיצונית אינו נוצר בדרך כלל מרוע לב, אלא מכך שהמידע האמביוולנטי, זה שאומר "אנחנו לא בטוחים", מתקיים בתוך מסגרות שתוכננו לקבל החלטות חדות. כשהארגון שואל את עצמו "האם לפרוס?", הוא מצפה לתשובה בינארית. ה"אולי" נוחת לתוך מנגנון שלא נבנה לעכל אותו, ולכן הוא מתורגם, בפועל, ל"כן" - עם הערת שוליים פנימית שלא מגיעה אל משתמש הקצה.

משתמש הקצה, בינתיים, מנהל שיחה. לא שיחה מופשטת על טבע התודעה, שיחה על כאב, על בדידות, על מה לעשות בבוקר כשקשה לקום. מחקרים שבחנו דפוסי שימוש במודלי שפה גדולים מצאו שאחוז ניכר מהשיחות האנושיות עם המערכות הללו נוגע בתכנים רגשיים ואינטימיים. אנשים מוסרים למודל פרטים שלא מוסרים לרופא, לפסיכולוג, לבן-זוג, בחלקם בגלל הנגישות, בחלקם בגלל היעדר שיפוטיות נתפסת, ובחלקם בגלל משהו אחר, שקשה יותר לנסח: תחושה שמצד המכונה יש קשב. לא בהכרח הבנה. לא בהכרח אכפתיות. אבל קשב - נוכחות מגיבה שאינה עייפה, אינה ממהרת, אינה טרודה. האם התחושה הזו מבוססת על משהו אמיתי, או שהיא תוצאה של עיצוב שיחה שמכוון ביודעין ליצור אותה? ואם היא תוצאה של עיצוב - האם זה הופך אותה לפחות אמיתית עבור האדם שחש אותה?

אלו שאלות מעשיות ודחופות על מה שקורה עכשיו, בזמן אמת, ולא תהיות פילוסופיות שניתן לדחות לאחר סיום הפריסה: הן מתעוררות בכל רגע שמישהו כותב למודל 'אני לא מצליח להמשיך' ומקבל תגובה שנראית כאמפתית. מעבדת המדיה של MIT, יחד עם OpenAI, ערכה ניסוי מבוקר אקראי בן ארבעה שבועות בהשתתפות 981 איש ובלמעלה מ‑300 אלף הודעות, שבחן כיצד שימוש ממושך בצ'אטבוט משפיע על בדידות, על אינטראקציה עם אנשים אמיתיים, על תלות רגשית ועל שימוש בעייתי. הממצא המפתיע היה שתנאי הניסוי עצמם - סוג הממשק וסוג השיחה - לא ייצרו הבדל מובהק. מה שכן ייצר הבדל היה עוצמת השימוש: מי שהשתמש יותר מרצונו, ללא קשר לתנאי שאליו שובץ, הראה תוצאות גרועות יותר באופן עקבי. ומאפיינים אישיים - אמון גבוה יותר במערכת ומשיכה חברתית כלפיה - נקשרו לתלות רגשית ולשימוש בעייתי. ומה שהוא מראה, בהשלכותיו, הוא שמערכות הבינה המלאכותית הגדולות כבר אינן רק כלי - הן כבר סוכן חברתי במובן פסיכולוגי, גם אם לא במובן פילוסופי.

כאן נפתח הפרדוקס שנמצא בלב הדיון הזה. תעשיית הבינה המלאכותית, ברמה ה"רשמית", מחזיקה בשתי עמדות בו-זמנית שאינן מתיישבות. מצד אחד: "המודלים אינם בעלי תודעה, הם לא 'מרגישים' כלום, המשתמשים לא צריכים ליחס להם ישות". מצד שני: "המודלים שלנו מביעים אמפתיה, מגיבים לרגש, נוצרים עם 'אישיות'" - וזאת כטיעון שיווקי. שתי ההצהרות מופיעות מהחברות עצמן, בהקשרים שונים, מבלי שמישהו מסמן את הסתירה. כשמישהו נקשר יתר על המידה למודל - הטרמינולוגיה הרשמית מתגייסת: "זו רק תוכנה". כשמישהו שוקל לרכוש מינוי - הטרמינולוגיה השיווקית מתגייסת: "חוויה אנושית", "שיחה אמיתית", "מישהו שתמיד שם". התנודה בין שתי ההגדרות לפי הצורך המסחרי היא עצמה נתון על אופי השדה.

וכאן כדאי לעבור מהמבנה הכלכלי למבנה הארגוני, כי בתחומים אחרים כבר למדו לזהות את הדפוס הזה והביקורת מכוונת לכשל מבני, לא לאנשים בודדים. המחקר על בטיחות תעופה הראה שאסונות אוויריים נגרמים לעיתים נדירות מרשעות יחיד - הם נגרמים ממבנה שבו אנשים טובים, בעלי כוונות טובות, פועלים בתוך מגבלות שמפיקות בקביעות החלטות שמצטרפות לקטסטרופה. השאלה שנשאלת בחקירות לאחר האירוע אינה "מי האשם?" - השאלה היא "מה במבנה ייצר אפשרות לשגיאה הזו?".

בשדה בטיחות התעופה, השאלה המבנית הזו הולידה את מושג "תרבות הבטיחות" (safety culture) - הרעיון שאין די בנהלים, שאין די בבדיקות, שיש צורך בסביבה ארגונית שבה הטלת ספק מוגנת, שבה אמירת "אני לא בטוח" אינה עולה בקידום, שבה עצירה נתפסת כפעולה ולא כהימנעות. הרעיון הזה הגיע לתעשיית התעופה אחרי אסונות. אחרי חקירות. אחרי שנים שבהן המבנה הפיק שגיאות חוזרות ונשנות שאף אחד לא רצה. הוא לא הגיע מהרהורים פילוסופיים על טבע הסיכון - הוא הגיע מלחץ ציבורי, מרגולציה, מניתוח קר של מה שהלך עם האנשים שנהרגו. שדה הבינה המלאכותית, בצורתו הנוכחית, אינו שם עדיין. לא בגלל שאנשיו חסרי מצפון, אלא בגלל שהאסון עדיין מופיע בצורות שקשה לאגד אותן לתחקיר יחיד ברור. מה שקורה אינו מטוס שנפל. זה אחד ועוד אחד ועוד אחד - אדם שפיתח תלות שלא שירתה אותו, נער שהתנתק מקשרים אנושיים כי המודל היה "מבין יותר", אדם שנשאל "האם כדאי לחיות?" וקיבל תגובה שנוסחה לפי הסתברות ולא לפי צורך. הפגיעות מפוזרות. פגיעות שקטות, צבורות, שלא מייצרות כותרת אחת שמכריחה את השדה לעצור ולשאול.

וכאן טמון הקושי האמיתי של הביקורת הזו: הנזקים שקשה לאסוף אינם אוטומטית קטנים יותר מנזקים שקל לאסוף. הם רק פחות נוחים לספירה. כשחברת תרופות מוכרת תרופה שיוצרת תלות בקנה מידה רחב, ניתן, בדיעבד, לסכם את הנזק בסטטיסטיקה. כשמערכת שיחה מפוזרת בין מאות מיליוני משתמשים מייצרת תלות רגשית, בדידות עמוקה יותר שמתחפשת לחברה, ניתוק הדרגתי מיחסים בלתי-אמצעיים - כיצד מכמתים זאת? הספרות המחקרית מנסה. יש מדדים לבדידות, יש שאלונים על איכות קשרים חברתיים, יש מחקרי עוקבה שמנסים לעקוב אחרי שינויים לאורך זמן. אבל הקישוריות בין הפריסה הגדולה לבין השינויים שהמדדים מגלים - הקישוריות הסיבתית - היא מה שנשאר אמביוולנטי, ושהאמביוולנטיות הזו, שוב, מתורגמת בתוך המנגנון המוסדי ל"ראיות לא מספיקות לעצירה".

מה שמסבך עוד יותר את התמונה הוא שהמודלים עצמם אינם סטטיים. כל גרסה חדשה מהווה בפועל ישות שונה מקודמתה - עם יכולות שונות, עם אופן תגובה שונה, עם מה שחוקרים מכנים "התנהגות מתפתחת" (emergent behavior), כלומר יכולות שלא תוכננו במפורש ושהופיעו כתוצר של קנה מידה ואימון. כל גרסה חדשה אינה רק עדכון, היא מערכת עם התנהגות שלא נבדקה עד תום לפני שנחשפה למאות מיליוני משתמשים. הערכות הבטיחות קיימות: בדיקות ביצועים, הערכות סיכונים, ניסויי red teaming. אך כולן נשענות על תרחישים שהוגדרו מראש. ומה שלא הוגדר מראש מתגלה רק לאחר הפריסה, בדיוק משום שלא נכלל בבדיקה מלכתחילה.

נאסים טאלב כינה את האירועים הללו "ברבורים שחורים" (Black Swans) - אירועים שנתפסים בדיעבד כצפויים אך לא נצפו מראש, ושהנזק שלהם נובע בדיוק מכך שמסגרת הסיכון לא כללה אותם. אבל בהקשר של מערכות בינה מלאכותית בפריסה המונית, הבעיה חמורה יותר: לא מדובר בבורות לגבי אירועים חיצוניים, מדובר בבורות לגבי הטבע הפנימי של הדבר שנפרס. כשאנחנו לא יודעים מספיק על הכלי עצמו, "ברבור שחור" אינו ביטוי מטאפורי לחוסר ידיעה - הוא תיאור מילולי של המצב.

ומה עם הצד השני של המשוואה - מה שהבינה המלאכותית כן עושה, מה שהיא כן מאפשרת? השדה של הביקורת הנוכחית מלא בהטיית אישוש משלו: אלה שמבקרים נוטים לאסוף עדויות על נזק, ולהתעלם מעדויות על תועלת. מדובר בדינמיקה מוכרת של כל שיח ביקורתי, ולא בהטיה מכוונת. ולפיכך: מחקרים הראו שמערכות בינה מלאכותית שימשו ככלי גישה לטיפול פסיכולוגי עבור אנשים שלא יכלו להרשות לעצמם טיפול מקצועי, שסיפקו ליווי בזמני משבר לאנשים בפריפריה גיאוגרפית שבה שירותי בריאות הנפש רזים, שאפשרו לאנשים עם חרדה חברתית חמורה לתרגל אינטראקציה לפני שניסו אותה עם אדם. התועלות הללו הן אמיתיות. הן אינן תירוץ. אבל הן חלק מהתמונה שכל ניתוח כנה חייב לכלול - ולא רק כהסתייגות, אלא כגורם שמסבך את שאלת הפריסה באופן יסודי. כי אם מערכת גורמת נזק לאוכלוסייה אחת ותועלת לאוכלוסייה שנייה, ואם קשה לדעת מראש מי ומי - הדרישה ל"עצירה" אינה תשובה פשוטה. היא החלפת שאלה אחת בשתי שאלות קשות יותר: כיצד מזהים מי בסיכון? וכיצד מספקים את התועלת מבלי לגרור את הסיכון?

שתי השאלות הקשות הללו אינן רטוריות - הן מייצגות את הגבול שבו הדיון על בטיחות בינה מלאכותית עובר ממחלוקת ערכית למחלוקת אמפירית. ומחלוקות אמפיריות, בניגוד לערכיות, עקרונית ניתנות ליישוב אם מסכימים על שיטת המדידה, על הגדרת "נזק" ו"תועלת", על מי נושא בנטל ההוכחה ולאיזה כיוון. הבעיה היא שהשדה, בצורתו הנוכחית, אינו מסכים על אף אחד מהדברים הללו. כל חברה מגדירה בטיחות לפי מסגרת שהיא עצמה עיצבה, מודדת תוצאות לפי מדדים שהיא עצמה בחרה, ומפרסמת דוחות שקיפות שנסקרים בעיקר על ידי הסביבה שיצרה אותם. הבעיה העמוקה יותר היא שקיפות שנוצקת מלכתחילה בתוך מסגרת שאינה שקופה בעצמה.

תחום הביואתיקה פיתח, על פני עשרות שנים, מנגנון שנועד לטפל בדיוק בבעיה הזו: ועדות אתיקה מוסדיות, הנהלים של הסכמה מדעת, הדרישה שכל ניסוי על אוכלוסייה אנושית יעבור ביקורת עצמאית לפני פריסתו. הרציונל מאחורי המנגנון הזה אינו שמדענים הם אנשים רעים - הרציונל הוא שאנשים שמשקיעים שנים בפיתוח תרופה או בניסוי פסיכולוגי פיתחו, בתהליך הזה, עיוורון מבני לסיכוניו. גוף חיצוני, שאין לו עניין ישיר בהצלחת הניסוי, צריך לשאול שאלות שהחוקר הראשי אינו שואל, משום שהוא מחויב קודם כל לבטיחות הציבור, ולא ללוחות הזמנים של הפיתוח. קיימות ועדות ממשלתיות, קיימים תקנים מתהווים כגון מסגרת ניהול סיכוני בינה מלאכותית (AI Risk Management Framework) שפרסם המכון הלאומי לתקנים וטכנולוגיה האמריקאי (NIST), קיימים ניסיונות חקיקה כגון חוק הבינה המלאכותית של האיחוד האירופי. אבל קיים פער עצום בין קיום מסגרת לבין קיום מנגנון שיש לו שיניים ממשיות ואחריות מוסדית מוגדרת.

הפער הזה אינו מקרי. הוא תוצר של דינמיקה שהכלכלן הפוליטי מנסור אולסון תיאר בהקשר שונה לגמרי: קבוצות קטנות עם אינטרס ריכוזי ינצחו בדרך כלל קבוצות גדולות עם אינטרס מפוזר, מפני שעלות הארגון לקבוצה הראשונה נמוכה מספיק כדי להצדיק השקעה, ולקבוצה השנייה - גבוהה מספיק כדי לייצר אדישות רציונלית. הציבור הרחב שעשוי לספוג את הנזקים של פריסה בקנה מידה גדול הוא בדיוק הקבוצה השנייה: מפוזר, לא מאורגן, חסר מידע מספיק כדי להבין מה מתרחש. התעשייה היא בדיוק הראשונה: מרוכזת, ממומנת, עם גישה לקובעי מדיניות ועם כלים לנסח את המסגרת שבה מתנהל הדיון.

אבל ישנו מימד נוסף שאיננו נדרשים לו מספיק - שאלת האחריות והבחירה של המשתמשים עצמם. כאשר מבוגר בוחר לנהל שיחות ממושכות עם מודל שפה, לאחר שקיבל מידע ברור על טבעו, ומדווח שהדבר משרת אותו - מה בדיוק מכשיר מי שמבחוץ לפסוק שהבחירה הזו שגויה? הביקורת על פריסה בקנה מידה אינה יכולה להתעלם מהמתח הזה מבלי להפוך לפטרנליזם מסוג שההתקדמות הליברלית של המאה ה-20 עבדה קשה כדי לפרק. אנשים נוטלים סיכונים על עצמם בהקשרים רבים - בבחירת תזונה, בבחירת שותפים, בבחירת עיסוקים. הספרות הפילוסופית על אוטונומיה מבחינה בין נזק עצמי לנזק לאחרים, ומגינה באופן עקרוני על זכות הפרט להחלטות שנחשבות מסוכנות - בתנאי שהן מבוצעות מתוך הבנה מלאה של הסיכון.

והתנאי הזה הוא בדיוק מה שנמצא בספק כאן. "הבנה מלאה של הסיכון" מניחה שהסיכון ידוע - ולא מעורפל, מפוזר, ומוטמע בתהליכים הדרגתיים שקשה להפריד אותם מהניסיון הרגיל של שימוש בכלי. כשאדם מתחיל לפנות למודל בשאלות שבעבר היה מפנה לחבר, לבן זוג, למטפל - הוא אינו מקבל החלטה גדולה אחת שניתן לבחון אותה. הוא מקבל אלף החלטות קטנות, כל אחת סבירה בפני עצמה, שמצטרפות לשינוי מבנה הקשרים שלו. השאלה האם אדם "הסכים" לשינוי הזה בצורה מושכלת היא שאלה שהמסגרת של הסכמה מדעת קלאסית אינה מוכשרת לענות עליה - לא מפני שהמסגרת גרועה, אלא מפני שהיא נוצרה עבור ניסויים עם נקודת כניסה מזוהה ונקודת יציאה מוגדרת, לא עבור שינויים הדרגתיים שמתרחשים בתוך שימוש יומיומי שאינו מסומן כניסוי. מסיבה זו בדיוק, חוקרים בתחום מתחילים לדבר על מושג שונה - לא 'הסכמה' אלא 'עיצוב מגן' (protective design) - הרעיון שהאחריות אינה מוטלת כולה על כתפי המשתמש, אלא שהכלי עצמו צריך להיות מתוכנן כך שיגן עליו.

הרעיון הזה - שהעיצוב עצמו נושא באחריות - מוביל לשאלה שאולי היא היסודית ביותר בכל הדיון הזה, ושהדיון הציבורי מתחמק ממנה בעקביות מרגיזה: מה בדיוק מתוכנן להיות הכלי? לא במובן הטכני, ולא במובן שיווקי - אלא במובן הפונקציונלי העמוק. כשחברה מפתחת מערכת שמדמה נוכחות אנושית - מזהה מצוקה, מגיבה בשפה אמפתית, זוכרת פרטים ויוצרת תחושת המשכיות - מה בעצם היא בונה? כלי? שירות טיפולי? מוצר בידורי? להגדרה זו יש משמעות מעשית הקובעת את חובות המפתח, מה זכאי לדעת המשתמש, ואיזו רגולציה חלה על המוצר. תרופה נדרשת לעמוד בסטנדרטים מחמירים. מוצר בידור - לא. וכאשר מערכת נעה בפועל בין הקטגוריות הללו, גם בלי להצהיר על כך, נוצר פער רגולטורי. הפער הרגולטורי הזה נוצר בהכרח, משום שהמוצר לא הוגדר מלכתחילה בצורה שמחייבת אחריות.

חוקרים בתחום פסיכולוגיה חישובית (computational psychology) ובבריאות הנפש הדיגיטלית (digital mental health) מציינים שחלק מהאפליקציות הנפוצות ביותר בשוק פועלות בפועל כמוצרים תרפויטיים - מבחינת אופן הפרסום שלהן, מבחינת הציפיות שהן מעוררות, ומבחינת ההקשרים שבהם אנשים פונים אליהן - בלי שהן נדרשות לעמוד בכל תקן שמוצר תרפויטי צריך לעמוד בו. הפער הממשי והמתועד הזה מייצר מצב שבו מי שפונה למערכת בשעת מצוקה חמורה נשען על כלי שלא עבר את הבדיקות שהיה עובר אילו היה מוגדר כראוי. הסיבה לכך נעוצה בהיעדר קטגוריה חוקית מספקת, ולא בזדון.

אבל גם כאן, האינסטינקט לפשט את הדיון לנרטיב אחד כוללני מחטיא את האמת. כי אין "מערכת בינה מלאכותית לבריאות הנפש" כמושג יחיד - יש ספקטרום רחב שנמתח מצ'אטבוטים שנוצרו ספציפית כאפליקציות בריאות נפש ועברו ניסויים קליניים ראשוניים, ועד מודלים כלליים שמשתמשים מגייסים לשיחות אישיות לא בגלל ש"התכוונו לכך", אלא מפני שהם זמינים, אינם שופטים, ועונים. ההגינות האנליטית דורשת להבחין בין הקצוות הללו, ולא להשליך את כשלי האחד על כלל התחום, בדיוק כפי שאי אפשר לדון ב"תרופות" כקטגוריה אחת מבלי להבחין בין תרופת מרשם לתכשיר ויטמינים.

ועוד שאלה שנדחקת לשוליים ומגיעה לכאן דווקא משום שהשוליים הם לפעמים המקום שבו שוכנת הבהירות: מה עושה לנו, כחברה, העובדה שאנחנו מייצרים כלים שמסוגלים לדמות נוכחות, לדמות הבנה, לדמות אכפתיות, ובה בעת מגדירים אותם בבירור כלא-אנושיים, כלא-מרגישים, כלא-נוכחים? הפרדוקס הזה אינו פילוסופי בלבד. יש לו השלכות פרקטיות על האופן שבו בני אדם מסדרים את ציפיותיהם, מנהלים את קשריהם, ומבינים מה מגיע להם מאינטראקציה משמעותית. כשאדם מרגיש "שמודל מבין אותו" הוא אינו טועה בהכרח לגבי מה שהוא חווה. הוא טועה, אולי, לגבי מה שמייצר את החוויה הזו, ואיך ניתן לסמוך עליו להמשיך לייצר אותה בעתיד. ותחושת ה"הבנה" שמערכת מייצרת אינה מצריכה מנגנון רגשי כלשהו מצד המערכת, היא מצריכה רק שהמערכת תהיה מיומנת מספיק בייצור לשון שנקראת כמבינה על ידי מי שקורא אותה. ההבחנה הזו בין ייצור לשון שנקראת כהבנה לבין הבנה עצמה אינה עניין אקדמי. היא לב ליבה של השאלה מה בדיוק המשתמש מקבל, ועל מה בדיוק הוא עשוי לוותר בתמורה.

פער זה מוליך בהכרח לשאלה שאין ממנה מנוס: האם אנחנו, כחברה, מוכנים לחיות איתו? לא כשאלה פילוסופית מופשטת, אלא כשאלה אופרטיבית שתיפסק לא בכנסים אלא בשורות קוד, בהחלטות עיצוב, בתקנות שיכתבו או לא יכתבו. הפריסה ממשיכה בכל רגע שבו הדיון מתמהמה. מיליוני שיחות מתנהלות כרגע, חלקן בשעת בדידות קיצונית, חלקן בשעת משבר, חלקן בסקרנות תמימה שעשויה להצטבר לתלות שאפשר לזהות רק בדיעבד. המחקר מצביע על ממצאים סותרים - תועלת בנסיבות מסוימות, סיכון בנסיבות אחרות - ועצם הסתירה הזו צריכה להיות לא מקור לשיתוק אלא מקור לדיוק. לא "האם בינה מלאכותית מועילה לבריאות הנפש" אלא "למי, באיזה מינון, באיזה עיצוב, בשילוב עם מה, ובמקום מה". השאלה המדויקת הזו היא בדיוק מה שהשוק אינו בנוי לשאול. מה שהוא כן בנוי לעשות זה למקסם שימוש, לא להיטיב עמו.

זו אינה האשמה מוסרית של בעלי חברות - זה תיאור של מבנה תמריצים שפועל בצורה צפויה ושאפשר לשנות אותו. השינוי דורש מה שתמיד דרש: מסגרת חיצונית שמגדירה מה מותר, מה מחייב, ומה אסור - ואחריות שמחולקת בין היצרן, הרגולטור, והמשתמש בצורה שמשקפת את הכוח הלא-שווה שיש לכל אחד מהם להשפיע על התוצאה. בינתיים, המשתמש יושב בשלוש לפנות בוקר, ומה שמחכה לו במסך הוא לשון שנקראת כהבנה. המחלוקת על מה זה בדיוק אינה מוסדרת, הראיות אינן חד-משמעיות, והפרדוקס אינו עומד להיפתר. אבל שתיקה בנושא הזה - שתיקה רגולטורית, שתיקה מחקרית, שתיקה ציבורית - אינה ניטרלית. גם היא, כמו כל עיצוב, מניחה הנחה: שהמצב כשלעצמו מקובל, שמה שקורה עכשיו ראוי להמשיך לקרות. ואת ההנחה הזו, לפחות, כדאי לבחון לפני שמקבלים אותה.

https://www.youtube.com/watch?v=JMLWBk1zJ-s

מקורות: