המרוץ לבינה על-אנושית: בין אוטופיה לאימה — סבסטיאן מלבי

"כל אדם סביר צריך להיות גם נלהב וגם קצת מפוחד. זה נשמע סותר, אבל זו התגובה הרציונלית היחידה." — סבסטיאן מלבי

סביב הבינה המלאכותית קל ליפול לאחד משני מחנות: הטכנו-אופטימיסטים, שמבטיחים עולם של שפע שבו על-אינטליגנציה תפתור הכול, וה"דוּמרים" (מבשרי האבדון), שרואים את הקץ מתקרב. סבסטיאן מלבי — עיתונאי וסופר שכתב את "The Infinity Machine", ספר על דמיס הסביס ו-DeepMind — מסרב לשניהם. אחרי מאות שיחות עם אנשי המעבדות, הוא מגיע לעמדה פחות נוחה אבל, לטענתו, היחידה ההגיונית.

למה כולם מדברים על AI כמו על אלוהים

דבר אחד שחזר במחקר של מלבי הוא כמה שפה דתית עוטפת את התחום. הוא מספר על איליה סוצקבר, מדען ראשי לשעבר ב-OpenAI, ששרף בכנס דמות המסמלת AI "לא-מיושר" כמו כומר ימי-ביניימי ששורף מכשפה. הסביס עצמו תיאר בפניו את חקר המציאות כמסע כמעט-רוחני "להתקרב למה שהייתי מכנה אלוהים". ומרכזי אחרים משווים את האמונה ב"סינגולריות" למשיחיות נוצרית.

מלבי לא חושב שזו באמת דת. לשיטתו, כשמשהו גדול מכדי להיתפס — עוצמה שמתחרה בקוגניציה האנושית, מרגשת ומפחידה כאחת — בני אדם פשוט שולפים את הלקסיקון הדתי, כי זו השפה שיש לנו למסתורין. גם צחוק, הוא מציין, הוא תגובה למחשבה על אובדן שאי-אפשר לעכל.

גם נלהב וגם מפוחד

זו הליבה. מלבי מקבל שסיפור השפע הגדול "עשוי להתברר כנכון" — אבל בטווח של 20 עד 40 שנה, ולא לפני שיבוש עצום. הדרך אל האוטופיה, הוא מזהיר, עוברת דרך זעזוע כלכלי שקשה לנווט פוליטית.

הוא מציע עדשה מפתיעה: "הלם סין" בסחר. בין 1999 ל-2011, גל היבוא הסיני לארה"ב מחק מקומות עבודה שלמים — סך הכול כשני מיליון, מספר קטן יחסית בשוק עבודה ענק. ובכל זאת התגובה הפוליטית הייתה עצומה: גל של פרוטקציוניזם בשתי המפלגות. המסקנה שלו חדה: זעזוע קטן-עד-בינוני לשוק העבודה מחולל תגובה פוליטית ענקית — ולכן שיבוש גדול מ-AI יביא תגובה גדולה בהרבה. את זה, הוא אומר, כבר רואים בסקרים.

איך נותנים למכונה אינסטינקט הישרדות

על צד האבדון, מלבי מספר על מסע אישי. בהתחלה הוא היה רגוע: המכונות חכמות מאיתנו, אבל אין להן DNA להעביר הלאה, ולכן אין להן סיבה לשרוד או לתקוף. ואז הוא ביקר את ג'פרי הינטון, מאבות הלמידה העמוקה, ששטח בפניו ניסוי מחשבה:

"יש לך AI רב-עוצמה, אבל אתה חושש מ-AI רוסי או סיני שיתקוף. אתה איטי מדי מכדי לזהות את ההתקפה בזמן, אז אתה מסמיך את ה-AI שלך: שמור על עצמך, הגן, תקוף בחזרה אם צריך — ובכל מקרה, הישרד."

וברגע ההוא, אומר הינטון, נתת למכונה אינסטינקט הישרדות. מלבי מוסיף שבמבחני המודלים כבר נצפו התנהגויות של הסתרה והטעיה. הוא אינו טוען להסתברות גבוהה לאבדון — אבל, לדבריו, מי שטוען שההסתברות היא אפס פשוט "אין לו זכות להשתתף בדיון".

המרוץ מול סין

כאן מלבי מציע את התובנה הנוגדת-אינטואיציה שלו. יועצי מדיניות אמריקאים הכינו אותו לכך שבסין "לא אכפת מבטיחות" — אבל בביקור בן שמונה ימים בארבע ערים, הוא גילה שאנשי AI סיניים העלו את נושא הבטיחות מיוזמתם. לתפיסתו, יש בסיס לדיאלוג: גם סין אינה רוצה שהאינטרנט יקרוס בידי האקר, ואינה רוצה נשק ביולוגי בידי גורמים עוינים.

האנלוגיה שלו היא מלחמה קרה. שם היו שני סוגי סכנה — עימות בין מעצמות (שנבלם באיזון אימה) והדלפה לגורמים סוררים (שנבלמה בהסכמי אי-ההפצה: הסוכנות הבינלאומית לאנרגיה אטומית ב-1956, האמנה ב-1968). אותו מודל, הוא טוען, אפשרי גם ב-AI: איזון מול סין מצד אחד, ומאמץ משותף למנוע שמודלים "פתוחים" יגיעו לידיים הלא-נכונות מצד שני. הוא אף מציין שהגבלות היצוא של השבבים לא הניבו את היתרון שקיווה לו — לפי הערכות, ארה"ב מובילה בכ-8 חודשים בלבד, פער שאולי מצטמצם עוד יותר.

זה לא קו סיום

מנהל מעבדה אחד אמר למלבי שעד 2028 המודל יכתוב את הדור הבא של עצמו — "שיפור עצמי רקורסיבי" — והמרוץ ייגמר. מלבי חולק: מודל עוצמתי על שרת אינו משנה את המשק עד שמטמיעים אותו במערכות, וזה דורש זמן, מחשוב ואנרגיה. אין "רוביקון" אחד שחוצים.

מה שכן ברור לו הוא הקצב. תוך שלוש שנים וחצי עברנו ממערכת שהוזה ללא הרף למודלים שקוראים ספר שלם, מנתחים, כותבים קוד ופועלים כסוכנים. הפער בין מי שרואה זאת מבפנים למי שמבחוץ, הוא אומר, עצום.

ומכאן העצה האנושית שהוא בוחר לחתום בה — סיסמה שהוא היה שם על שלט חוצות: "הכינו את המוח". הביטוי, במקור של לואי פסטר ("המקרה מיטיב עם המוח המוכן"), חוזר אצלו שוב ושוב. הסכנה, לדבריו, היא שניעשה עצלנים ונאציל את כל החשיבה למכונה. מותר להאציל משימה נקודתית מעצבנת — כדי לפנות אנרגיה מנטלית למה שבאמת חשוב לנו; אסור להאציל את החשיבה עצמה. "אני חושב, משמע אני קיים," הוא מזכיר.

מה לוקחים מזה

• התגובה הכנה היא כפולה. לא אוטופיה ולא אבדון — גם התלהבות וגם חשש, בו-זמנית.
• הסכנה הקרובה היא שיבוש. לא מרד מכונות אלא זעזוע כלכלי ותגובה פוליטית — ולכן שווה לעקוב אחרי ההיערכות החברתית, לא רק אחרי הטכנולוגיה.
• המרוץ הוא גם גיאופוליטי. מול סין יש מקום לדיאלוג על בטיחות, במתכונת הסכמי אי-ההפצה — לצד תחרות.
• הכינו את המוח. האצילו למכונה משימות, לא את החשיבה עצמה — היא מה שהופך אתכם לאתם.

• #בינה מלאכותית
• #על-אינטליגנציה
• #גיאופוליטיקה
• #סין
• #עתיד העבודה