רומאן יאמפולסקי: האיש שטבע את המונח "בטיחות AI" — ולמה הוא מאמין שאי אפשר לשלוט בה

"היכולות של AI מכפילות את עצמן שוב ושוב, ואולי מהר אף מזה. הבטיחות מתקדמת בקצב אחיד. הפער הולך וגדל." — ד"ר רומאן יאמפולסקי

צריך לפתוח בהערה על הכותרת. הפרק נקרא "חמש המשרות היחידות שיישארו ב-2030", אבל יאמפולסקי אינו מונה בו חמש משרות. הוא טוען בדיוק את ההפך: שאין רשימה כזו. הכותרת היא של הפודקאסט, לא של האורח, וכדאי לדעת את זה לפני שממשיכים. מה שכן יש בפרק הוא טיעון מסודר, ומטריד, מפי אדם שעוסק בזה כ-15 שנה. זיקקנו את העיקר כפי שנאמר.

האיש שהמציא את השם — ואז שינה את דעתו

יאמפולסקי, מדען מחשבים בהכשרתו, מספר שהתחיל מפרויקט אבטחה צנוע: הוא בחן בוטים של פוקר, ראה שהם משתפרים, והבין שאם ממשיכים את המגמה קדימה מספיק רחוק, הם יהיו טובים מאיתנו. זה קרה. ומה שקרה בפוקר, לדבריו, יקרה בכל תחום אחר.

לדבריו הוא זה שטבע את המונח "בטיחות AI", עוד לפני שהתחום קיבל שם. הוא מדגיש מיד את הסייג: הוא טבע את המונח, לא את התחום. היו אנשים שעשו עבודה מצוינת לפניו.

ואז מגיע החלק שמשנה את התמונה:

"בחמש השנים הראשונות לפחות עבדתי על פתרון הבעיה. הייתי משוכנע שנצליח — שנוכל ליצור AI בטוח, וזו הייתה המטרה. אבל ככל שהעמקתי, כך הבנתי שכל רכיב במשוואה אינו משהו שאנחנו באמת מסוגלים לעשות."

הוא מתאר את זה כפרקטל: נכנסים פנימה ומוצאים עשר בעיות נוספות, ואז מאה. וכולן, לטענתו, לא רק קשות, אלא בלתי אפשריות. אין בתחום עבודה מכוננת שאחריה אפשר לומר "פתרנו את זה". יש טלאים, ואנשים מוצאים דרכים לעקוף אותם.

מכאן המשפט שנושא את כל השיחה:

"בעוד שההתקדמות ביכולות של AI מכפילה את עצמה שוב ושוב, ואולי מהר אף מזה, ההתקדמות בבטיחות היא לינארית, בקצב קבוע. הפער הולך וגדל."

למה טלאים לא מספיקים

ברטלט מציע ניסוח: החברות בונות אינטליגנציה, ואז כותבות מעליה קוד שאומר לה מה אסור. יאמפולסקי מאשר, ונותן אנלוגיה: ספר נהלים של משאבי אנוש.

בני אדם הם בעלי אינטליגנציה כללית, ואנחנו רוצים שיפעלו לפי הנורמות בתוך ארגון. אז כותבים מדיניות: אסור זה, אסור זה. אבל אם אתם חכמים מספיק, אתם תמיד מוצאים מסלול עוקף. במילים שלו, אתם פשוט דוחפים את ההתנהגות לתת-תחום שעדיין לא הוגבל.

לזה מתלווה נקודה שרוב האנשים, לדעתו, אינם מבינים: גם מי שבנה את המערכות אינו יודע מה הן מסוגלות לעשות. החברות מריצות ניסויים על המוצר שלהן כדי ללמוד אותו: אתה מדבר צרפתית? אתה יודע מתמטיקה? אתה משקר לי עכשיו? ולפעמים מתגלות יכולות חדשות במודלים ישנים, רק מפני ששאלו אחרת.

"זו כבר לא הנדסה כמו בחמישים השנים הראשונות... זה מדע. אנחנו יוצרים את התוצר הזה, מגדלים אותו. זה כמו צמח חייזרי — ואז אנחנו חוקרים אותו כדי לראות מה הוא עושה."

התאריכים

יאמפולסקי נשאל על שורת תחזיות. הוא מקפיד לסייג שהן נשענות על שווקי תחזיות ועל הצהרות של מנכ"לי המעבדות המובילות, לא על ידיעה:

• 2027 — בינה מלאכותית כללית (AGI). מכאן, לדבריו, מגיעה כמעט מיד גם על-אינטליגנציה, כתופעת לוואי.
• 2030 — רובוטים הומנואידיים עם מספיק גמישות ומיומנות ידיים כדי להתחרות בבני אדם בכל תחום. כולל אינסטלטורים, שברטלט מתאר כמעוז האחרון של תעסוקה אנושית.
• 2045 — השנה שריי קורצווייל מנבא כסינגולריות: הנקודה שמעבר לה אנחנו כבר לא מסוגלים לראות, להבין או לחזות.

את הסינגולריות הוא ממחיש כך: היום יוצא אייפון חדש מדי שנה, ואתם מבינים שהמצלמה קצת השתפרה. עכשיו דמיינו שתהליך המחקר והפיתוח עצמו אוטומטי: כל חצי שנה, כל חודש, כל שעה, כל דקה. שלושים גרסאות ביום אחד. אי אפשר להדביק את הקצב.

והוא מוסיף תצפית אישית חדה:

"בזמן שעשיתי איתך את הריאיון הזה, יצא מודל חדש ואני כבר לא יודע מהי חזית הטכנולוגיה. כל יום, כאחוז מסך הידע, אני נעשה טיפש יותר."

התעסוקה: אין תוכנית ב'

כאן נמצא לב הפרק, וגם ההפרכה של הכותרת. יאמפולסקי אינו מציע רשימת משרות ששורדות. הוא מציע את ההפך:

"הפעם מדובר בשינוי פרדיגמה. קודם תמיד אמרנו: המשרה הזו תעבור אוטומציה, תעברו הסבה מקצועית למשרה אחרת. אבל אם אני אומר לכם שכל המשרות יעברו אוטומציה — אז אין תוכנית ב'."

הוא מדגים זאת דרך התחום שלו. לפני שנתיים אמרו לאמנים ללמוד לתכנת. ואז התברר שה-AI יודע לתכנת, אז אמרו: תהיו מהנדסי פרומפטים. ואז התברר שה-AI טוב יותר מכל אדם בתכנון פרומפטים ל-AI אחר. הדבר הקשה ביותר כרגע, הוא אומר, הוא לתכנן סוכני AI ליישומים מעשיים, והוא מבטיח שגם זה ייעלם תוך שנה או שנתיים.

ומה כן נשאר? לדבריו, רק עבודות שבהן מסיבה כלשהי אתם מעדיפים שאדם יעשה אותן. אולי אתם עשירים ורוצים רואה חשבון אנושי מטעמים היסטוריים. הוא משווה זאת למוצרים בעבודת יד שאנשים משלמים עליהם יותר. קיים, אבל נישה. במילותיו, סוג של "פטישיזם", בלי שום סיבה מעשית.

המספר שהוא נוקב אינו 10% אבטלה אלא 99%. והוא מדגיש הבחנה חשובה: היכולת להחליף אינה זהה להטמעה בפועל. טלפונים עם וידאו הומצאו בשנות השבעים ואיש לא השתמש בהם עד שהגיע האייפון. ייתכן אפוא שהעולם ימשיך להיראות כפי שהוא היום זמן רב הרבה יותר. אבל היכולת, לדבריו, תגיע מהר מאוד.

למה "פשוט נכבה את זה" לא עובד

זו התגובה שהוא מקבל בכל פודקאסט, והתשובה שלו קצרה:

"אפשר לכבות וירוס? יש לכם וירוס מחשב, אתם לא אוהבים אותו, תכבו אותו. מה עם ביטקוין? כבו את רשת הביטקוין. קדימה, אני מחכה."

הנקודה כפולה. ראשית, אלה מערכות מבוזרות. שנית, ובעיקר: מערכת חכמה מכם כבר צפתה מה תעשו, כבר יצרה גיבויים — והיא תכבה אתכם לפני שתספיקו לכבות אותה. הרעיון שאנחנו בשליטה, הוא טוען, תקף רק לרמות שלפני על-אינטליגנציה. היום, בני אדם עם כלי AI הם באמת הסיכון; מרגע שהמערכת חכמה יותר, האדם כבר אינו החלק המשמעותי במשוואה.

לפער הזה יש לו דימוי שחוזר בפרק: הבולדוג הצרפתי שלו. הכלב יכול לחזות שהוא הולך לעבודה וחוזר, אבל אינו מסוגל להבין למה הוא מקליט פודקאסט. זה מחוץ למודל העולם שלו. וכשברטלט שואל אילו תרחישי הכחדה נראים לו סבירים, יאמפולסקי מסרב להיכנס לזה:

הוא יכול לתאר וירוס שנוצר בעזרת כלי ביולוגי מתקדם, כי את זה הוא מסוגל לדמיין. אבל הנקודה, הוא מדגיש, היא שלא משנה מה הוא מסוגל להעלות על הדעת. אילו שאלתם את הכלב איך תחסלו אותו, הוא היה מדבר על נשיכה, כי זה מה שהוא מכיר.

הטיעון שהכי קשה להתווכח איתו

ברטלט מציע ניסוח שיאמפולסקי מיד מחדד. אם היו אומרים לי שיש סיכוי של אחוז אחד שאמות אם אכנס למכונית, אומר ברטלט, לא הייתי נכנס. גם לא בשביל מיליארד דולר.

"זה גרוע מזה. לא רק אתה מת — כולם מתים."

ומכאן לטיעון האתי שהוא מציב, אולי החזק ביותר בפרק: כדי לקבל הסכמה מדעת מנבדקים, הם צריכים להבין למה הם מסכימים. אם המערכות בלתי ניתנות להסבר ובלתי ניתנות לחיזוי, איך אפשר לתת הסכמה מדעת? לפי ההיגיון הזה, בהגדרה לא ניתן לקבל הסכמה, ולכן הניסוי אינו יכול להתבצע באופן אתי.

הוא גם דוחה את הטענה שיש דברים דחופים יותר. על-אינטליגנציה, לשיטתו, היא פתרון-על: אם נעשה אותה נכון, היא תעזור בשינוי אקלים ובמלחמות. אם לא, היא גוברת על הכול. "אם לשינוי האקלים ייקח מאה שנה להרתיח אותנו חיים, ועל-אינטליגנציה תהרוג את כולם בחמש, אני לא צריך לדאוג לשינוי האקלים."

אז מה כן

חשוב לומר שיאמפולסקי אינו קורא לעצור טכנולוגיה. כשברטלט שואל אם היה לוחץ על כפתור שמכבה את כל חברות ה-AI, הוא מסייג מיד: אובדן כל ה-AI יהיה אסון — הוא מפעיל את שוק המניות, תחנות כוח ובתי חולים, ומיליוני אנשים היו נפגעים. את ה-AI הצר הוא רוצה לשמור.

מה שהוא מציע לעוסקים בתחום הוא לשנות כיוון: לבנות כלים, לא סוכנים. אינטליגנציה צרה, לא כללית. במילים שלו: "אני לא אומר שאסור לכם להרוויח מיליארדי דולרים. אני אוהב מיליארדי דולרים. רק אל תהרגו את כולם, כולל את עצמכם."

והוא מוסיף נימוק כלכלי מפתיע: לדבריו כ-99% מהפוטנציאל הכלכלי של הטכנולוגיה הקיימת עדיין לא הוטמע. אנחנו מייצרים AI כה מהר שאין לו זמן לחלחל לתעשייה. אפשר, לטענתו, להצמיח את הכלכלה במשך עשורים בלי למהר לעל-אינטליגנציה.

ולמה הוא ישן טוב

השאלה נשאלת ישירות, והתשובה מפתיעה: הוא ישן טוב מאוד. ההסבר שלו אינו אופטימיות אלא ביולוגיה:

"יש לנו כבני אדם הטיה מובנית שלא לחשוב על תוצאות רעות במיוחד ועל דברים שאנחנו לא יכולים למנוע. כולנו בני תמותה. הילדים שלכם ימותו, ההורים שלכם ימותו, כולם ימותו — ואתם עדיין ישנים טוב וממשיכים בשגרת היום."

זה אותו מנגנון, הוא אומר, שפועל כאן. ואולי, הוא מוסיף, הידיעה שהזמן מוגבל דווקא נותנת סיבה טובה יותר לחיות חיים טובים — אי אפשר לבזבז אף רגע. העצה שהוא נותן להורים ולילדים היא באותה רוח, ואינה תלויה כלל בטכנולוגיה: חיו כל יום כאילו הוא האחרון, אל תעשו דברים שאתם שונאים לאורך זמן, ועשו דברים מעניינים ובעלי השפעה.

מה לוקחים מזה

• בדקו את הכותרת מול התוכן. הפרק מבטיח חמש משרות ששורדות; האורח טוען שאין רשימה כזו. זה הבדל מהותי, לא ניסוח.
• הפער הוא הסיפור, לא התאריך. גם אם התחזיות שגויות בשנים, הטענה המרכזית עומדת: יכולות גדלות מהר מהיכולת לשלוט בהן.
• "נכבה את זה" אינו תוכנית. מערכת מבוזרת לא נכבית, ומערכת חכמה מכם צופה את המהלך.
• אי-הבנה אינה זדון. גם היוצרים אינם יודעים מה המערכות מסוגלות לעשות — הם מגלים זאת בניסוי, בדיעבד.
• הכיוון שהוא מציע קיים. כלים צרים לבעיות ספציפיות, ולא סוכנים כלליים — ולדבריו יש שם מספיק ערך כלכלי לעשורים.

• #רומאן יאמפולסקי
• #בינה מלאכותית
• #בטיחות AI
• #עתיד העבודה
• #סיכון קיומי