העצמה אנושית בחברת בינה מלאכותית
כיצד בני אדם עלולים לאבד לאט ובשקט את השפעתם על הכלכלה, המדינה והתרבות — ואילו מנגנונים עשויים להשאיר את העתיד בידיים אנושיות.
תודה לבנג'מין שמידט וללוק מקנאלי על הדיונים סביב נושא זה והמשוב שלהם על טיוטה מוקדמת של מאמר זה!
אובדן כוח הדרגתי הוא אחד ממצבי הכשל המרכזיים של AI מתקדם. הרעיון, שפותח על ידי יאן קולווייט, ריימונד דאגלס, נורה עמאן, דגר טוראן, דיוויד קרוגר ודיוויד דובנאוד במאמרם משנת 2025 אובדן כוח הדרגתי, היא שבני אדם לא צריכים להיכבש על ידי בינת־על נוכלת כדי לאבד שליטה על הציוויליזציה שלהם. אנחנו עלולים לאבד אותה לאט ובשקט, תוך מתן כוח לאורך זמן, עד שהמערכות רחבות ההיקף שאנו תלויים בהן, כמו הכלכלה, המדינה והתרבות, יסתמכו פחות ופחות על השתתפות אנושית ויתרחקו מהאינטרסים האנושיים.
ברגע שהשתתפות אנושית זו תידחק על ידי חלופות מכונות תחרותיות יותר, התמריצים של המוסדות שלנו לצמיחה יהיו מנותקים מהצורך להבטיח פריחה אנושית. מקבלי החלטות בכל הרמות יתמודדו בקרוב עם לחצים להפחית את המעורבות האנושית בשווקי העבודה, מבני ממשל, ייצור תרבותי ואפילו אינטראקציות חברתיות. אלה שמתנגדים ללחצים האלה בסופו של דבר ייעקרו על ידי אלה שלא.
אני ממליץ לקרוא אובדן כוח הדרגתי לפני שתמשיך, אך ניתן לקרוא את המאמר הזה גם בפני עצמו.
כדי להבין את מצב הכישלון הזה, מאמר זה בוחן כיצד אובדן כוח והשפעה כבר מתרחש ברחבי העולם שלנו בכל פעם שאנשים מאבדים השפעה על חייהם ועל המערכות שבהן הם משתתפים, בין אם הם כלכליים, מוסדיים, פוליטיים, תרבותיים, אקדמיים או אחרת. לפעמים הכוח מתרכז בקרב כמה שחקנים, כמו במשטר סמכותי, ושולל כוח כמעט מכל היתר. לפעמים כל שחקן מאבד מכוחו בבת אחת, כשמערכת נכנסת לשיווי משקל רע שאף משתתף לא רצה, כמו מדינות שננעלו במרוץ חימוש אינסופי. ולפעמים הערכים האנושיים, או ההשפעה האנושית בכלל, הם שמפסידים: כוחות שמקורם באדם כמו תרבות, אידיאולוגיות, רעיונות ויצירתיות, אינם משחקים עוד תפקיד פעיל בעיצוב העתיד.[1].
יש, במילים אחרות, סוגים רבים של אובדן כוח והשפעה. בכל פעם שבני אדם, או ערכים שבני אדם מאמצים, מאבדים השפעה סיבתית על החלטות, תשתיות ומסלול העתיד של המערכות שבהן אנו חיים, זהו אובדן כוח והשפעה. אובדן יכולת הפעולה של הפרט, אנשים האוכפים את רצונותיהם על אחרים, אובדן כושר ההיגוי ברמת האנושות וסחיפה תרבותית הרחק ממקורות אנושיים הם כולם דוגמאות לכך, וכולם צריכים להיות מטופלים בעידן הבינה המלאכותית.
אני מתמקד לאורך כל הדרך באובדן כוח והשפעה שנגרם על ידי מערכות; על איך המשתתפים מאבדים כוח באופן שיטתי. במקום להתעכב על איך אנשים יכולים להיות חמדנים ולתפוס כוח מאחרים, אני חושב שזה יותר בונה לשאול איך ולמה אנשים כאלה יצליחו, שזו שאלה של עיצוב מערכת.
אפילו בהנחה שבינת-על מלאכותית אינה פשוט עולה בתחכומה על בני האדם ומשתלטת על כדור הארץ (וזה יהיה אובדן ברור ואולי פתאומי של העצמה)[2], העתיד יכול להיות עולם שבו רבים בוחרים שותפים וחברים רובוטים שניתן להתאים אישית, שבו כמה אנשים (או בינה מלאכותית) שולטים כמעט בכל ההון ובמשאבי כדור הארץ, שבו מדינות הופכות את כלכלותיהן וצבאותיהן לאוטומטיים ויש להן פחות סיבות להשקיע ברווחה, או שבו מגמות תרבותיות נקבעות על ידי ממים, אמנות ומדיה שנוצרו על ידי בינה מלאכותית.
אנחנו כבר רואים תצוגה מקדימה מתונה של כל זה: אנשים המכורים לצ'אטבוטים, העשירים ביותר מחזיקים בחלק עצום מהעושר של העולם, מדינות שפורסות מעקב אוטומטי ומזל"טים צבאיים, אלגוריתמי המלצות וחשבונות בינה מלאכותית שמעצבים את המדיה החברתית. אולי זה עדיין לא כל כך נורא, לא ברוב המקומות לפחות, אבל המגמה מצביעה על אובדן כוח והשפעה, והבעיה עדיין לא מובנת היטב.
מאמר זה הוא הניסיון שלי להבין את זה, ולהרחיב לקחים מבעיות חברתיות בעבר ובהווה כדי לקבל מושג טוב יותר על מה שעלול לקרות עם הצגת ושילוב של מערכות AI רבות־עוצמה. בינה מלאכותית מביאה אתגרים חדשים, אבל אולי גם פתרונות חדשים. המאמר מחולק לארבעה חלקים, כל אחד עונה על שאלה אחת:
- תהליכים — אילו תהליכים נוטים להוביל לאובדן כוח והשפעה?
- גורמים בסיסיים ותנאים מגבירים — באילו תנאים תהליכים אלה הופכים למעשה מזיקים?
- מנגנונים נגד אובדן כוח והשפעה — איך אנחנו משפרים את התנאים האלה, כך שהתהליכים מעצימים ולא מעצימים?
- פירוק מושג אובדן הכוח והשפעה — אילו נקודות מבט ומסגרות עוזרות לנו לנמק את זה בצורה מדויקת יותר?
למרות שההדמיה הזו עשויה להיות מבלבלת יותר מאשר מאירה, ניסיתי לשרטט את הליבה בין התהליכים, הגורמים הבסיסיים והמנגנונים המנוגדים בזמן העבודה על מאמר זה:
היחסים החזקים ביותר בין התהליכים, הגורמים הבסיסיים והמנגנונים המנוגדים שנדונו במאמר זה.
זכור שהיחסים הללו מבוססים במידה רבה על האינטואיציה שלי, ושיש הרבה יותר מערכות יחסים עדינות בין ובין העמודות הללו. אמנם נבנה על מספר דוגמאות היסטוריות ואחרונות, אך מסגרת זו לא נבדקה בקפידה על ידי אחרים או נבדקה על התועלת שלה בניתוח מעברים חברתיים קודמים בפירוט.
אם אתה מוצא את זה מעניין ורוצה עוד ניתוחים על עתיד הבינה המלאכותית, שקול להירשם!
התהליכים שמובילים לאובדן כוח
התהליכים שלהלן אינם רעים מטבעם. הם יכולים להיות מנועי שגשוג, והם מובילים רק לאובדן כוח והשפעה בתנאים הרעים המתוארים בסעיף הבא. המשותף להם הוא שהם מחליפים העצמה עבור ערכים אחרים, כמו יעילות או אמינות.
כמו כן, בינה מלאכותית לא בהכרח מגבירה את אובדן כוח והשפעה בתוכם, אבל היא יכולה כשהיא משולבת בדרכים שיוצרות למשל תלות, מניפולציה או אטימות. אני כולל כאן כמה דוגמאות לאינטגרציה טובה, אבל סעיף זה מתמקד במצבי כשל; שימושים קונסטרוקטיביים של AI מכוסים מאוחר יותר בסעיף מנגנונים נגד אובדן כוח והשפעה.
תחרות
תחרות עזה יכולה לאלץ את המתחרים לנטוש את הערכים שלהם כדי לנצח, או סתם להישאר במירוץ בכלל. הם עשויים להילחם על משאבים מוגבלים במקום לתאם כדי לחלוק אותם באופן שוויוני. הם יכולים להינעל באסטרטגיות רעות שאף אחד לא יכול לנטוש באופן חד צדדי. חלקם מאבדים מכוחם כשהם מפסידים; אחרים אינם נכללים מהתחרות לחלוטין; ולפעמים כל המתחרים מאבדים מכוחם בבת אחת, לכודים במערכת שבה אף אחד לא שולט או יכול להשיג את מה שהם באמת רוצים.
תחרות היא כוח האבולוציה והברירה הטבעית. זה כוחו של הקפיטליזם. כך בוחרים מנהיגים בדמוקרטיות, וכיצד דיקטטורים לוקחים את השלטון באוטוקרטיות. ולעתים קרובות זה הכוח שדוחף את התהליכים האחרים לעבר אובדן כוח והשפעה.
מלכודות המשחקים-תאורטיות ותאורטי-ההחלטות שייכים כולן לכאן: ה דילמת האסיר, ה טרגדיית נחלת הכלל, שיווי משקל פארטו לא יעיל שאף משתתף לא מעדיף אבל אף אחד לא יכול לברוח לבד.
תחרות יכולה להיות גם כוח של התקדמות ושגשוג, כל עוד היא מכילה, הוגנת, וההשפעות החיצוניות והתמריצים השליליים שלה מנוהלים. אבל זה נפוץ להחריד שדברים משתבשים ונשברים.
תת הסעיפים להלן חוקרים כמה דרכים שבהן תחרות מביאה לאובדן כוח והשפעה שלדעתי ראויות לתשומת לב נוספת.
עד כמה מרכזית התחרות לאובדן כוח והשפעה: התחרות פוגעת בכוח באמצעות דינמיקה הרסנית בין המשתתפים, ריכוז כוח בין הזוכים או לכידה של כולם בשיווי משקל לא הולם. זה כנראה התהליך המרכזי מכולם, לעתים קרובות הכוח הבסיסי מאחורי האחרים.
גורמים בסיסיים עיקריים: בלתי הפיך (שיווי משקל רע), שליטה על ידי אחרים (תמריצים חזקים לשלוט באחרים כדי לנצח), אסימטריה כוח ואי שוויון (המנצח לוקח הכל דינמיקה).
יותר מדי מתחרים
כאשר אנשים רבים מגישים מועמדות לאותה עבודה, מענק או הזדמנות אחרת, תהליך הבחירה נשען על אותות פשוטים ומהימנים, כגון שנות השכלה. אז כולם מתחרים קשה יותר על האותות האלה, אולי לומדים יותר זמן ממה שהעבודה עצמה דורשת. מאגר מועמדים גדול יותר יכול לעזור להתאים את האנשים הנכונים לתפקידים הנכונים, אבל המחיר הוא שרוב המשתתפים בסופו של דבר בעלי כוח והשפעה מצומצמים יחסית, מבלים שנים במרדף אחר תארים ופרסומים בכתבי עת יוקרתיים במקום לבנות מיומנות בדרכים פחות קריאות.
אותו דבר קורה כשכולם מתחרים על הזמן והתשומת לב של אנשים אחרים. טכנולוגיית תקשורת יכולה, באופן פרדוקסלי, לעשות את זה קשה יותר להגיע לאנשים, לבנות קשרים, למצוא בני זוג להיכרויות או להפיץ מודעות למשהו חשוב. סף קטן לנטילת יוזמה, אפילו משהו מינורי כמו עלות הבול, מסנן את המתחרים הפחות מתעניינים, ועם תיבת דואר נכנס קטנה יותר, כל הודעה זוכה לתשומת לב רבה יותר.
כאן אובדן כוח והשפעה נובע בעיקר ממספר המתחרים העצום, וניתן להקל עליו על ידי שמירה על התחרות קטנה ומקומית יותר, או על ידי הוספת עלות צנועה להשתתפות.
בעידן הבינה המלאכותית: בינה מלאכותית יכולה להגדיל את מספר המתחרים ישירות, כאשר סוכנים אוטומטיים מצטרפים למערכות ודוחקים בני אדם. זה כבר נראה בפלטפורמות חברתיות, שבהן בוטים מתחרים על תשומת הלב - תצוגה מקדימה מתונה של מה שעשוי לבוא מאוחר יותר. זה גם מגביר את התחרות בין בני אדם: אנשים החלו להשתמש בבינה מלאכותית כדי לשלוח מועמדויות, להושיט יד ולשתף מידע. מספר הסוכנים המתחרים גדל גם כאשר מספר המתחרים האנושיים נשאר זהה.
תחרות עזה ולא סלחנית
כשיש מרווח פעולה, ערכים רבים יכולים לפרוח, כי המשתתפים יכולים לרדוף אחריהם מבלי להיענש. כאשר התחרות עזה, שחקנים נאלצים במקום זאת לוותר על הערכים שלהם למען רווח וכוח, או להידחק בידי אלה שעושים זאת.
זו הבעיה המוכרת של קפיטליזם בלתי מוגבל, אבל אותו מירוץ לתחתית מכלל תחרות בין ממים, מגמות תרבותיות, דתות ואידיאולוגיות. הגלובליזציה הפכה רבות מהתחרויות הללו לחריפות בבת אחת, והפכה את התחרויות האזוריות לגלובליות.
הדינמיקה מניעה בחירות שאף מתחרה בודד לא יעדיף. בריחה דורשת תיאום טוב יותר, לא מוסר טוב יותר.
בעידן הבינה המלאכותית: חברות בינה מלאכותית עשויות להידחף להפוך את המוצרים שלהן לממכרים, ולעשות ויתורים לא בריאים אחרים, פשוט כדי להישאר תחרותיים אחד עם השני. בעתיד, בני אדם עשויים להרגיש נאלצים לדחות את קבלת החלטות בינה מלאכותית על-אנושית, תוך מסירת כוחם.
בינה מלאכותית עשויה גם לשבור את המנגנונים ששומרים כיום על שיתוף הפעולה יציב. זה יכול להביס את שיטות האימות שהופכות הסכמים לניתנים לאכיפה, או לשנות את מאזן ההגנה של העבירה בתחומים כמו אבטחת סייבר ונשק ביולוגי. מצד שני, זה יכול להפוך באותה קלות לכלי רב עוצמה עבור שיתוף פעולה — באמצעות ניטור שומר הפרטיות ועמידה מובטחת בחומרה בהסכמים, למשל (נדון תחת תיאום בסעיף מנגנונים נגד אובדן כוח והשפעה).
הפסד והדרה
אובדן כוח והשפעה הוא גם מנת חלקם הטבעית של המפסידים, כשהכוח מתרכז בקרב המנצחים. לפעמים הבעיה היא גם מעט תחרות ולא יותר מדי. בעל מונופול קונה את יריביו וסטארט-אפים שלו, ואז גובה כל מה שהוא אוהב; השוק מאבד את המגוון וההיענות שלו, מצטרפים חדשים נסגרים בחוץ, והצרכנים כבר לא יכולים לעצב אותו לפי העדפותיהם. פטנטים ובעלות מרוכזת על נכס פועלים באופן דומה: כשהדרך היחידה למשהו בעל ערך עובר דרך שחקן בודד, השחקן הזה יכול לתמחר אותו ולחסום חלופות.
התרופה היא יותר משתתפים מועצמים. הכניסה והשהייה בתחרות צריכה להיות קלה, והחוקים צריכים להיות קריאים.
זו הסיבה העיקרית לגישה רחבה לענייני חינוך. חממות עוזרות לסטארטאפים לצאת לדרך. חוקי הגבלים עסקיים מרסנים התנהלות אנטי-תחרותית. מסי שווי קרקע לא לעודד אגירת רכוש לא פרודוקטיבית. בעיות כמו סבך פטנטים ו טרול פטנטים עלול להיות מיואש באמצעות א מס הרברגר, שבו פטנט מחויב במס על ערכו המוערך העצמי וכל אחד יכול לקנות אותו בשווי זה בכל עת, מה שמכריח מכירה.
בעידן הבינה המלאכותית: ההחרגה עלולה להפוך למוחלטת. בינה מלאכותית עשויה להתחרות ישירות בבני אדם על משאבים, כעובדים וכצרכנים. בכלכלה של אינטליגנציות-על מתחרות, כל שחקן פחות מסוגל (כולל בני אדם) עלול להפוך לבלתי רלוונטי במידה רבה מבלי שהוא בהכרח יחוסל.
באופן רחב יותר, רעיונות, ממים ואידיאולוגיות אנושיות עלולים להתחרות על ידי רעיונות שמקורם ומתפתחים בתוך AI או מערכות AI היברידיות, ואלה יכולים להיות רע באופן שרירותי לבני אדם. כמו וירוס המותאם למין A שמדביק מדי פעם את מין B, שום דבר לא מגביל את מידת הפגיעה שלו לבני אדם, כי בני האדם הם לא מה שהם מסתגלים אליו.
תחרות כאופטימיזציה
שווקים יעילים צריכים לבצע אופטימיזציה לצרכי הלקוחות, אבל הלקוחות אינם תמיד רציונליים. אנו פועלים באימפולסיביות, מתמכרים, ולעתים קרובות עוסקים יותר במה שמכעיס אותנו מאשר במה שמודיע או מבדר אותנו. אנחנו מצביעים ומחליטים לפי מה שנשמע טוב ולא מה טוב. ההתנהגות וההעדפות הנחשפות שלנו הן פרוקסי לא מושלמים למה שאנחנו באמת רוצים, ותחרות שנבנתה על פרוקסי אלו יכולה להחמיר את מצבנו באופן מהימן בעודנו עושים בדיוק את מה שהיא תוכננה לעשות.
עם הזמן, השווקים ממשיכים למצוא דרכים חדשות לנצל את הטבע האנושי, בעוד כוחות מנוגדים כמו רגולציה והתאמה תרבותית מנסים לעמוד בקצב. מאכלים טעימים אך לא בריאים מתפשטים, ותגובה מתעוררים דיאטות ומשטרי אימונים. תרופות ממכרות חדשות מפותחות, ואז מוגבלות במידה רבה לרפואה. מופיעות פלטפורמות למקסום מעורבות, ואז המתחרים מציעים חלופות גמישות יותר או פחות ממכרות. תהליך האופטימיזציה נשבר ומתוקן, שוב ושוב.
בעידן הבינה המלאכותית: יש אנשים שכבר בוחרים בקשרים עם מערכות בינה מלאכותית על פני קשרים עם בני אדם. יש פחות סיכון; אתה יכול לציין את המראה, האישיות והרקע שאתה רוצה, ואפילו למחוק זיכרונות לא רצויים. AI המוטמע ברובוטים עשוי בסופו של דבר להיות נחמד ואטרקטיבי יותר מאנשים, ועבור רבים ההצעה עשויה להיות מפתה מכדי לסרב. בקנה מידה קטן זה יכול להיות בסדר. אבל אם זה יקרה במהירות ובקנה מידה חברתי, האם לכוחות המתנגדים יהיה זמן להסתגל? איך נראית חברה שבה בני אדם שכחו איך לתקשר עם בני אדם אחרים?
אותה דאגה חלה בכל מקום שמערכות תחרותיות מסתגלות להעדפות שנחשפו; שווקים, הזנות המלצות, אמנות, מוזיקה. בינה מלאכותית יכולה להיות מסוגלת מספיק כדי להטעין את האופטימיזציה הזו בדרכים שאיננו יכולים לחזות או לשלוט בהן.
סטנדרטיזציה
סטנדרטיזציה קונה אמינות, קנה מידה ועלות נמוכה, בדרך כלל על ידי צמצום המרחב לשיפוט אנושי תוך חילוף גמישות, פיקוח ויכולת להתערב כשמשהו משתבש.
דיוויד קרוגר מתבונן:
"החברה "מתוקנת" יותר ויותר לא רק במונחים של מוצרים, אלא גם במונחים של תהליכים (כגון סקריפטים מגבילים של שירות לקוחות או נהלי הפעלה סטנדרטיים) שיש להם היתרון שהם זולים, ניתנים להרחבה ואמינות (לעיתים קרובות באמצעות צמצום „טעויות אנוש”, כלומר הגבלת כוח קבלת ההחלטות האנושי ועידוד ציות). הם גם הופכים יותר ויותר היבטים של החיים לכפופים למדידה ובקרה באמצעות אופטימיזציה של מדדים, אשר בהכרח אינם מצליחים לתפוס את כל מה שחשוב.
הספר ריבוי מאת Audrey Tang, E. Glen Weyl, והקהילה שלהם, מעלים נקודה היסטורית קשורה (פרק 3-2): רכוש, זהות והצבעה כולם הפכו לסטנדרטיים כאשר אנשים הופשטו לאינדיבידואלים הניתנים להחלפה; יחידות אטומיות שמתאימות למערכת בצורה מסודרת יותר, במחיר של כל מה שההפשטה השאירה בחוץ.
אבל כאשר מערכת שומרת על הגמישות שלה, מתייחסת היטב למשתתפיה, ומבטיחה שבני אדם יישארו מעורבים כדי לספק פיקוח ושיקול דעת, סטנדרטיזציה יכולה לספק פתרונות מהירים ואמינים, ולהניח קרקע מתחת לכמה גרוע הדברים נעשו עבור כל אדם. מדדים סטנדרטיים של שגשוג, קידמה, או אפילו העצמה עצמה יכולים לשמש חברות, קהילות ומדינות כדי להילחם באובדן כוח והשפעה, כל עוד האמצעים אכן טובים.
עד כמה סטנדרטיזציה מרכזית לאובדן כוח והשפעה: מניע מרכזי של אובדן כוח והשפעה עבור יחידים: אלה שהפתרון הסטנדרטי לא עובד עבורם.
גורמים בסיסיים עיקריים: בלתי הפיך (מערכות סטנדרטיות לרוב פשוטות יותר, עם עלויות גדולות הכרוכות בהחלפתן וביצירת ותחזוקה של נהלים גמישים יותר), שליטה על ידי אחרים (סטנדרטיזציה מקלה על הניהול והשליטה של המשתתפים), ו חוסר מעורבות אנושית (נהלים מתוקננים מחליפים את שיקול הדעת האנושי).
יעדי אופטימיזציה סטנדרטיים
ציוני מבחנים סטנדרטיים מאפשרים לתלמידים להפגין יכולת אמינה, וזה שימושי. אבל המדד מפספס את כל מגוון היכולות של תלמיד, כך שבתי ספר ומעסיקים מתעלמים מכישרון שלא מופיע במבחן. מדינות לאום עשויות לייעל את התמ"ג ולא את רווחת האזרחים; חברות פועלות לפי החוק ולא לפי האתיקה. זה חוק גודהארט: —כאשר מידה הופכת למטרה, היא מפסיקה להיות מידה טובה—.
בכל מקום, שחקנים רודפים אחרי פרוקסי הניתנים למדידה להצלחה, ולא מה שבעצם טוב ורצוי. למעשה, יעד האופטימיזציה הסטנדרטי לעתים קרובות מונע מהמשתתפים לחפש כל דבר אחר, ומעניש את אלה שלא מבצעים אופטימיזציה מספיק חזק עבור היעד הנמדד.
בעידן הבינה המלאכותית: AI הוא כבר משמש למעקב בכיתה בסין, מצמצמים את מה שמורים ותלמידים יכולים לעשות:
המצלמות מתעדות את שיעורי הראש למעלה של התלמידים (כאינדיקטור לקשב), את מספר התלמידים היושבים בשורה הראשונה, דפוסי אינטראקציה עם המורה, את הבעות הפנים שלהם, כמו גם את הטיקים המילוליים, המחוות של המורה, והאם תוכן הדיבור שלהם גורם ל"מילות מפתח רגישות למסך" שבמקרים מסוימים בכיתה. לוח שמציג את המדדים האלה כשהם מתעדכנים בזמן אמת.
מעבר לכך ש-AI משמש למדידה ואופטימיזציה של יעדים סטנדרטיים, הערכים המוטמעים ב-AI עצמם הם סוג של סטנדרטיזציה. גם אם יתאפשר להתקין העדפות ספציפיות ב-AI, העדפות אלו יהיו ככל הנראה דחיסה אובדנית של מה שאנו (או, יותר ריאלי, מה המפתח) מעריכים בפועל. ערכים אלה עלולים להיתקע, טכנולוגיות הבינה המלאכותיות משמרות אותם כל הזמן בזמן שהם פועלים בעולם, מה שמוביל ל נעילת ערך.
קבלת החלטות סטנדרטית
פרוטוקולים סטנדרטיים מאיצים את העניינים במקום שבו יש חשיבות לדחיפות, כמו מיון רפואי בבתי חולים, אך לעתים קרובות במחיר של טיפול גרוע במקרים נדירים. נעשה בזהירות, סטנדרטיזציה יכולה לשמור על מערכת הפעלה חלקה תוך שמירה על גמישות מספקת כדי ליפול לאחור על שיקול דעת אנושי כאשר משהו חריג קורה.
אם נעשה בצורה גרועה, קבלת החלטות כזו עלולה להפלות קבוצות מסוימות, כמו הקבוצות הנפוצות אלגוריתמי גיוס מוטים, או לאלץ אנשים לקבל החלטות גרועות.
בעידן הבינה המלאכותית: ככל שהטכנולוגיה משתפרת, ניתן לתקן החלטות מורכבות יותר. ניתן לבנות ולהפעיל מערכות ענקיות ובלתי גמישות על ידי בינה מלאכותית, תוך הטמעת פרוטוקולים המנציחים את עצמם שאולי קשה מאוד לבטלם, כאשר בני אדם אינם מסוגלים להתערב כאשר דברים משתבשים. כמה תחומים שנראים סבירים במיוחד להתמודד עם בעיות אלה הם הצבא, המסחר והמוסדות הביורוקרטיים.
ריכוזיות
ריכוזיות יכולה ללבוש כמה צורות שונות. אולי רשות יחידה (בין אם שליט יחיד או החלטת רוב) מחליטה כיצד הדברים עובדים, ומפחיתה את הגמישות ואת חופש הפרט; או שהוקמה מערכת יחידה לארגון תחום, אך כופה פרוטוקולים סטנדרטיים שלא מתאימים לכולם. בתמורה, הריכוזיות מציעה מסגרת אחת במקום טלאים (חשוב לרגולציה יעילה), משפרת את התיאום (כמו באיחוד האירופי), ולרוב היא פשוטה יותר, זולה יותר וניתנת להרחבה יותר. יש לו הרבה מאותם יתרונות, ולעתים קרובות חופף, עם סטנדרטיזציה. זוהי גם דרך ליבה למניעת אסונות, שכן כוח ריכוזי מאפשר לעתים קרובות התערבויות רחבות יותר ותגובות איומים.
כברירת מחדל, הדברים נוטים להתרכז לאורך זמן על פני תחומים רבים: אבולוציה (חד-תאי - קולוניאלי - רב-תאי פשוט - רב-תאי מורכב, ובעלי חיים המתפתחים לעבודה בקבוצות גדולות), כלכלה (סדנאות בעלי מלאכה - חברות - תאגידים רב-לאומיים עם שוק רב-לאומי, תאגידים משותפים לכיוון אוליגופול ומונופול באמצעות יתרונות גודל והשפעות רשת), וגיאופוליטיקה (להקות — שבטים — מפקדות — ערים-מדינות — מדינות לאום — אימפריות וגושים על-לאומיים). גם עלות הריכוזיות יורדת עם הזמן: אימפריות קרסו פעם תחת משקלן, אבל טכנולוגיית התקשורת, המידע והנשק המודרנית אפשרה מעצמות ושיתוף פעולה עולמי, לצד מונופולים וריכוזי כוח קיצוניים.
עד כמה ריכוזיות מרכזית לאובדן כוח והשפעה: ריכוזיות גורמת לרוב לאובדן כוח והשפעה עבור רבים, תוך ריכוז הכוח בקרב המעטים.
גורמים בסיסיים עיקריים: בלתי הפיך (תמריצים חזקים ומבנים תומכים מתנגדים לחלוקה מחדש של כוח וביזור), אסימטריה כוח ואי שוויון (לעתים קרובות הוא מרכז כוח), שליטה על ידי אחרים (לעתים קרובות מתמריצים רשויות מרכזיות לשלוט באחרים כדי לשמור על השלטון), בעיות מנהל-סוכן (לרשויות מרכזיות יש אינטרסים שונים מאלה שהן מייצגות או שולטות בהן), וכן חוסר מעורבות אנושית (החלטות ופעולות מואצלות לגורם מרכזי, מה שמפחית השתתפות רחבה יותר).
גמישות מופחתת וחופש הפרט
ברוב המדינות התוכנית החינוכית נקבעת על ידי רשות מרכזית לכל האומה, מה שמפחית את הגמישות עבור אזורים בודדים, בתי ספר ותלמידים. כולם מקבלים השכלה, אבל המערכת לעתים קרובות מסירה את ההזדמנות לתלמידים לשגשג באמת, עם קצב ושיטה שלא מתאימים לכולם. מדינות מסוימות מרככות זאת על ידי הצעת חלופות כגון חינוך ביתי, דילוג על כיתה, האצה של מקצוע בודד ולמידה בסגנון מונטסורי.
באופן אידיאלי, ריכוזיות וסטנדרטיזציה שמים קרקע מתחת לכמה דברים יכולים להיות גרועים מבלי לשים תקרה על כמה טובים הם יכולים להיות. קומות כאלה - החל מסיוע פדרלי, דרך שירותי בריאות וחינוך חינם, ועד לביטחון הבסיסי שמספקים המשטרה והצבא - מונעות מאנשים להיות מאבדים מכוחם לחלוטין. אולי ניתן לספק את אלה ללא סמכות מרכזית לניהולם, אבל נראה שריכוזיות היא הפתרון הנפוץ ביותר ובעיקר עובד בצורה סבירה. ובכל זאת, לא נראה בלתי אפשרי לדמיין מערכות חלופיות עם יותר בעלות ואחריות קולקטיבית לדברים כאלה, שיפתרו את אותן בעיות תוך מתן אפשרות לגמישות רבה יותר והעצמה מבוזרת.
בעידן הבינה המלאכותית: מספר קטן של חברות מחזיקות במערכות ה-AI החזקות ביותר ושולטות כיצד הן מתנהגות ומה הן מספרות למיליארדי משתמשים. זה יכול לאפשר שכנוע ומניפולציה בקנה מידה חסר תקדים, אולי עדין מספיק כדי למנוע זיהוי, בעוד שמשתמשים לא יכולים לעבור בקלות לחלופות. בינה מלאכותית גם מאפשרת ריכוז כוח, בין אם בינה מלאכותית אוספת כוח עבור עצמה (כמו בתרחישי השתלטות) או עבור בני אדם. משטרים אוטוריטריים יכולים להתבצר עוד יותר, תוך שימוש בפיקוח אוטומטי ובטכנולוגיה צבאית כדי לשמור על אוכלוסיותיהם בשליטה.
פחות מעורבות
חלקם הבחינו כי עשויה להיות ירידה במוסדות מתווכים המתווכים באינטראקציות בין אזרחים למדינה, כולל איגודים, כנסיות ועיתונות מקומית[3]. אלו נותנים לאנשים מסלול להעצמה באמצעות קהילה וקול משותף, מסלול שעלול להישחק. אני חושד שהירידה היא בחלקה תוצאה של ריכוזיות: רבים מהמוסדות הללו התמקצעו והואצלו, כך שחברות פירושה כעת תשלום חודשי במקום להשתתף בפועל, להכיר את שאר החברים ולבצע דברים ביחד. קהילות מצטמצמות לשירותים[4].
כאשר כוח ומשאבים מתרכזים בין שחקנים אחד או כמה, למשתתפים האחרים יש באופן טבעי פחות שליטה עליהם, אבל הם גם נוטים להיות פחות מעורבים. יש להם פחות סיבה להבין איך דברים עובדים, ופחות סיבה להשתמש בכל הכוח והמשאבים שיש להם כשהשחקן המרכזי עושה דברים עבורם. גם כאשר משתתפים כאלה אינם נטולי כוח באופן עקרוני, הם מאבדים מכוחם בפועל, פשוט בגלל הנוחות של לתת למרכז להשתלט.
בעידן הבינה המלאכותית: ההחלטה אילו ערכים ויעדים צריכים להיות לבינה מלאכותית הועברה ברובה לכמה מפתחי בינה מלאכותית. להחלטות אלו עשויות להיות השלכות ארוכות טווח, ככל שיותר מהחברה נמסרת לבינה מלאכותית, ולציבור יש לטעון כיצד אנו רוצים ש-מערכות AI רבות־עוצמה יתנהגו. ריאן גרינבלט מציע יכולת פעולה הדדית חובה להתמודד עם זה: "עבר רגולציה או צור נורמה המחייבת חברות בינה מלאכותית לתמוך בכל ממשקי ה-API והממשקים הדרושים כדי להתאים אישית את המודלים שלהן ו(לנסות) ליישר אותם בצורה שונה".
נושא נפרד הוא האצלה ל-AI עצמו. נניח שהייתה מערכת סופר אינטליגנטית שהחלטותיה כמעט תמיד הצליחו. הפיתוי פשוט לתת לזה להחליט יהיה חזק; מדינות דמוקרטיות אולי אפילו להצביע להאציל את קבלת ההחלטות לרשות AI ריכוזית, כי זה פשוט עובד טוב יותר. אולי נקבל AI שמצטיין בשיפוט משפטי, ומדינות מתחילות לנתב תיקים דרך שופט AI מרכזי. אז מנהל AI מרכזי לכלכלה? לבנקים? ליחסים בינלאומיים? אבל זו דרך מסוכנת: בני אדם הופכים פחות מעורבים, מאבדים את ההבנה והכישורים שלהם, וגדלים תלויים ב-AI המרכזי.
תמריצים שבורים
קבלת החלטות מרוכזת מגיעה לרוב עם תמריצים שבורים עבור מקבל ההחלטות. רשות מרכזית לא בהכרח מרוויחה מקבלת החלטות טובות, וייתכן שהעומדים בראש לא ירוויחו מהעצמת אלה שבתחתית[5]. אפילו דמוקרטיות סובלות מכך: רוב יכול לקבוע כללים המשרתים אותם על חשבון המיעוט. לבעלי בתים קיימים, למשל, יש אינטרס ישיר שערך הנכס שלהם יעלה ולכן בדיור חדש לא נבנה, ככל הנראה תורם אחד למשבר הדיור. לרשות מרכזית אולי אכפת בעיקר מהקבוצות הגדולות מספיק כדי לאיים על כוחה או להניע בחירות.
בעידן הבינה המלאכותית: גם אם הערכים המוטמעים בבינה מלאכותית יוכרעו איכשהו בצורה דמוקרטית (כבר הרבה יותר טוב מהיום, שם אין השתתפות כזו וההתאמה לא נפתרת מלכתחילה), ייתכן שהערכים האלה עדיין לא יייצגו רבים או רוב האנשים בחיים, שלא לדבר על העבר והעתיד. אפילו משטרים אוטוריטריים כיום אינם יכולים להרשות לעצמם במלואם להתנגד לעמם או לצבא שלהם, שעלולים להתקומם. אבל אם הצבא אוטומטי עם רובוטים וכלי נשק אוטונומיים, וניתן להחליף בני אדם בבינה מלאכותית בשליטה ממשלתית, האילוץ הזה נעלם: הממשלה כבר לא תצטרך להתחשב באנשים, שלא יכלו עוד למחות. ואם לבינה מלאכותית יזכו אי פעם זכויות כמו הצבעה, מספיק מהן יכולות לכפות כללים על בני אדם, גם אם ההחלטה היא במובן מסוים "הוגנת".
אוטומציה
אוטומציה דומה מאוד סטנדרטיזציה: תהליכים אוטומטיים מפסיקים להסתמך על בני אדם ושיקול דעת אנושי, מעלים את היעילות ומצמצמים טעויות במחיר של גמישות, טיפול במקרים מיוחדים ויכולת להגיב כשדברים נשברים. מיומנויות לעשיית דברים באופן ידני, מייצרות תלות בפתרון האוטומטי, שלעתים קרובות אטום למי שתלוי בו.
בעידן הבינה המלאכותית: אוטומציה של משימות עבודה עלולה לעקור הרבה מאוד אנשים. מבחינה היסטורית זה בעיקר גרם לאובדן כוח זמני, כאשר אנשים יכולים בסופו של דבר למצוא עבודה אחרת. אבל בינה מלאכותית עלולה לגרום להפרעה גדולה בהרבה, להתקדם ולהתפשט בקצב חסר תקדים, עד שהמשימות היחידות שנותרו לבני אדם הן אלה הנדרשות על פי חוק או המועדפות מאוד להיות אנושיות (לדוגמה, אמנות מעשה ידי אדם עשויה לשמור על ערכה למקורותיה, ורבים עדיין ירצו מטפלים אנושיים).
סוגיה נפרדת היא שהשקעה בבינה מלאכותית יכולה להניב תשואה גבוהה יותר מהשקעה באנשים. זהו ה קללת הבינה: לממשלות יש פחות סיבה להבטיח את רווחת האוכלוסיות שלהן אם הן יכולות להפוך בני אדם לאוטומטיים ולדכא אי שקט עם מעקבים וצבאות המופעלים על ידי בינה מלאכותית (ראה דיון התמריצים השבור תחת ריכוזיות למעלה). באופן מופשט יותר, האוטומציה הופכת את בני האדם לפחות משפיעים באופן כללי - אובדן כוח והשפעה לא רק של האנשים שהוחלפו, אלא של ההשפעה האנושית, מיצירתיות לאידיאולוגיה ועד לשיפוט לאימפולסיביות.
כמה אוטומציה מרכזית היא לאובדן כוח והשפעה: אוטומציה מוציאה את בני האדם מהתהליך, שוללת כוח והשפעה ממי שמוחלפים ומפחיתה את הפיקוח, הגמישות והשליטה האנושית.
גורמים בסיסיים עיקריים: בלתי הפיך (שחיקת מיומנויות יוצרת תלות), בעיות מנהל-סוכן (תהליכים או סוכנים אוטומטיים אינם מגלמים את כל האינטרסים של המנהל), ו חוסר מעורבות אנושית (מערכות אוטומטיות מחליפות את השיפוט האנושי).
העלאת קנה מידה
מערכות מסוימות גדלות עד שהן עולות על ההבנה האנושית. חוק וביורוקרטיה שלעולם לא נקצץ הופכים למבוך; השווקים גדלים כל כך ושזורים זה בזה, עד שהניסיונות להסדיר אותם פוגעים.
כאשר מערכות מתרחבות, הן הופכות לעתים קרובות בלתי קריאות למשתתפים שלהן. המערכת הופכת להיות ישות אלדריץ' שעשויה להיות נדיבה או לא, אדם לא יכול לפקח על, היכן ניסיונות השינוי נכשלים או גורמים ליותר נזק מתועלת.
מאידך גיסא, הגברת התיאום עשויה להיות בדיוק מה שנדרש כדי להילחם בהפחתת העצמה: אנו יכולים להגדיל גם את קבלת החוש הקולקטיבי וקבלת ההחלטות, ולהגדיל את הכוח הקולקטיבי מבלי להפחית בהכרח את הכוח האינדיבידואלי. הבעיה אינה קנה מידה כשלעצמו, אלא קנה מידה שהופך מערכת לבלתי קריאה או מעכב בדרך אחרת את הפיקוח והשליטה של האדם.
בעידן הבינה המלאכותית: AI מאפשר למערכות להתרחב הרבה מעבר לכל מה שיכולנו לפקח עליו. רק על ידי השתתפות במערכות חברתיות, כלכליות או אקדמיות קיימות, בינה מלאכותית יכולה לסבך אותן על ידי הכפלת מספר המשתתפים (ראה את הסעיף של יותר מדי מתחרים למעלה). מכיוון שטכנולוגיית התקשורת והמידע אפשרה למערכות להתרחב, גם בינה מלאכותית תעשה זאת, מכיוון שהזמינות של בינה מפסיקה להיות צוואר בקבוק. מערכות לא יהיו מוגבלות יותר על ידי הצורך להישאר קריא לבני אדם. מצד שני, בינה מלאכותית יכולה גם לעזור להגדיל את יצירת החושים והתיאום הקולקטיביים (ראה תיאום תחת מנגנונים נגד אובדן כוח והשפעה).
עד כמה הגדלת קנה המידה מרכזי הוא לאובדן כוח והשפעה: העלאת קנה המידה מקשה על הטיפול באובדן כוח והשפעה שנגרם על ידי תהליכים אחרים, ומפחיתה את הקריאות, הפיקוח והבקרה הדרושים לתיקון המסלול.
גורמים בסיסיים עיקריים: בלתי הפיך (מערכות גדלות מורכבות או חזקות מספיק כדי להתנגד לשינוי), חוסר נהירות (המערכת גדלה ומורכבת מכדי שהמשתתפים יוכלו לקיים איתה אינטראקציה יעילה).
האצה
האצה הוא אח של העלאת קנה מידה: מערכות מואצות מעבר ליכולת האנושית לפיקוח משמעותי, הופכות בלתי קריאות וקשות לשינוי.
כאשר השינוי הוא איטי, כוח הרסני עולה נוטה להיפגש על ידי כוח מאזן. טורף שצד את טרפו עד הכחדה עוקב אחריו להכחדה, אבל במערכת אקולוגית איטית ודינמית יש לטרף זמן להסתגל. נראה שאחד מכוחות האיזון בחברה האנושית הוא נדיבות: כשהדברים אינם מהירים או כאוטיים מדי, אנשים נוטים להידחף נגד צורות הרסניות של חיפוש רווח וכוח. המהירות מקשה לשמור על איזון כזה.
בעידן הבינה המלאכותית: עבור כל משימה שבינה מלאכותית יכולה לבצע בצורה מהימנה, היא בדרך כלל מהירה פי כמה מבני אדם. זה החזיק בתחומים שונים, משחמט ועד קידוד ועד כתיבת סיפורים קצרים. מהירות זו מעכבת פיקוח אנושי.
כאשר AI מאיץ את התהליכים בתוך מערכות, או פועל כמשתתף בעצמו, דברים יכולים לקרות במהירות חסרת תקדים. בדיוק כמו מסחר אלגוריתמי קריסות פלאש מופעלות, קבלת החלטות בינה מלאכותית בהקשרים צבאיים או פוליטיים עשויה לאפשר הסלמות הבזק, כמו במכון Future of Life הסלמה מלאכותית וידאו, עם איזון כוחות, הסלמה ותיאום שלא מצליחים לעמוד בקצב. מחקר AI עצמו עומד בפני אותו סיכון: שיפור עצמי רקורסיבי יכול לגרום לשדה לזוז כל כך מהר שאין זמן להגיב כשמשהו משתבש.
כמו עם העלאת קנה מידהעם זאת, בינה מלאכותית יכולה גם לתמוך במאמצים בונים, כמו האצת המחקר בנושא אבטחת חומרה כדי לאפשר אמנות אמינות ואכיפה על פיתוח ופריסה של בינה מלאכותית. האצה היא בעיקר בעיה כאשר היא גורמת לחוסר קריאה ושחוקה את הפיקוח.
עד כמה האצה מרכזית לאובדן כוח והשפעה: זה אולי הגורם החשוב ביותר לשאלה האם אנחנו יכולים להגיב לאובדן כוח והשפעה בכלל: בעיות אלו עשויות להופיע מהר יותר ממה שאנו יכולים להגיב.
גורמים בסיסיים עיקריים: חוסר נהירות (המהירות עולה על היכולת שלנו להבין מה קורה בזמן לשנות מסלול).
אופטימיזציה מקומית (אלגוריתמים חמדנים)
מערכות רבות בנויות בדרכים שמתגמלות קוצר רואי. שחקנים עושים את מה שהכי קל עכשיו ולא מה שטוב בסך הכל, והמערכות מתמקמות באופטימום מקומי במקום בגלובליות.
דמוקרטיות מתגמלות לעתים קרובות פוליטיקאים על מתן שיפורים זמניים שמגבירים את סיכויי הבחירה מחדש; הטבות במזומן או מס עשויות להיות פופולריות אך יכולות פשוט להעלות את המחירים. בעיות עמוקות כמו משבר הדיור או הפריון עשויות לדרוש רפורמות יקרות, שנויות במחלוקת, שמסוכנות עבור מי שמנסה אותן, מה שמונע מפתרונות רציניים. תיקונים קצרי רואי אינם מצליחים להעצים אנשים בטווח הארוך. זו הבעיה של קובעי מדיניות להגיב למשברים לאחר שהם מתרחשים במקום להתכונן אליהם. זו הבעיה של אנשים שלא מבחינים או מגיבים לאסונות הדרגתיים, הלא הם ה-—תסמונת הצפרדע הרותחת—.
איור של ChatGPT, בסגנון Ghibli. אני מקווה שהקוראים יעריכו את האירוניה שבשימוש באמנות AI במאמר זה.
אם אנו מייעלים רק עבור האנשים החיים היום, אנו שוללים כוח מהדורות הבאים. שינויי אקלים הם הדוגמה המרכזית, מספיק הדרגתית שמקבלי ההחלטות של היום לא מצפים לשאת במלוא העלות שלהם. ההדרגתיות פירושה שמקבל ההחלטות אינו זה שמרוויח מפתרון (ראה ארגז הכלים של מולוך). השקעה בחינוך וברווחה מעצימה אוכלוסייה, אבל זו השקעה לטווח ארוך, וזו כנראה הסיבה המרכזית לכך שמדינות לא דמוקרטיות נאבקו בה היסטורית. במקום שבו יש משאבי טבע בשפע, ממשלות עלולות להתפתות להשקיע במשאבים אלה ולא באנשיהן, ולהרוויח בטווח הקצר תוך עיכוב צמיחה ארוכת טווח, בעיה המכונה קללת המשאבים.
בעידן הבינה המלאכותית: כל החלטה להעביר כוח למערכת בינה מלאכותית עשויה להיות רציונלית מקומית, גם כאשר אובדן כוח והשפעה מצטבר עם הזמן. מכיוון שתהליך זה מתפרס ככל הנראה לאורך זמן ועל פני תחומים רבים, אנשים עלולים לא לשים לב ולהגיב בזמן.
עד כמה אופטימיזציה מקומית מרכזית לאובדן כוח והשפעה: זה אולי התהליך שלוכד בצורה הטובה ביותר את הדרגתי באובדן כוח הדרגתי: כל צעד בודד יכול להיות אופטימלי מקומית תוך צמצום מתמשך של היכולת שלנו להפוך את המסלול.
גורמים בסיסיים עיקריים: בלתי הפיך (לעיתים קרובות קל יותר לפתור בעיות אם קוטמים אותן, אבל קוצר רואי מונע זאת), בעיות מנהל-סוכן (ההחלטות מואצלות לשחקנים המתוגמלים על קוצר רואי).
גורמים בסיסיים ותנאים מגבירים
התהליכים שלמעלה לא תמיד מסתיימים רע. האם הם מובילים לאובדן כוח תלוי בקבוצה של גורמי רקע ותנאים. סעיף זה מכסה את הגורמים החוצים מספר תהליכים; נושאים הקשורים לתהליך יחיד (כמו המלכודות התאורטיות במשחק תחת תחרות) הועלו לצדו.
בלתי הפיך
התהליכים הגורמים לאובדן כוח והשפעה קשים לרוב לביטול. אנחנו נעשים תלויים בפתרונות חדשים, שוכחים איך הדברים נעשו קודם, ומאבדים את היכולת לשנות מסלול. אנחנו נתקעים בשיווי משקל לא אופטימלי, בלי יכולת לעבור למערכות טובות יותר. כאשר ההעצמה אובדת, זה מפחית עוד יותר את היכולת שלנו לשנות את המערכת, הפיכת תהליכי אובדן כוח והשפעה לספירלות שליליות, עד שחצה את סף האל חזור.
זה לובש אינספור צורות. התשתית הופכת לשאת עומס מכיוון שמערכות כבר לא יכולות לתפקד בלעדיה (כמו התלות במערכות דיגיטליות מותירה אותנו חשופים להפסקות והתקפות סייבר ברגע שלא נשמרים עוד גיבויים ידניים). דרכים ישנות לעשות דברים אבדו בגלל חוסר מיומנות. ישנן השפעות רשת, תלות בנתיבים, נעילת ספקים והתבססות פוליטית. קשה יותר לשנות מערכות כשהן הופכות בלתי קריאות, מהירות מדי, גדולות מדי או מורכבות מדי לפיקוח. והיכולת להגיב לאיומים (לתאם, ולתכנן וליישם פתרונות) יכולה בעצמה לאבד. תרבויות, אידיאולוגיות, נורמות ואפילו ערכים משתנים עם הזמן, לעתים קרובות בדרכים המתנגדות להיפוך, לטוב או לרע.
שליטה על ידי אחרים
ישנם תמריצים חזקים לתמרן ולשלוט באנשים אחרים, והנשלט הוא כשלעצמו צורת ליבה של אובדן כוח והשפעה של הפרט. שניים מהתמריצים המדאיגים ביותר הם רווח וכוח. עֲבוּר רווח, אנשים מוכרים מוצרים ממכרים כמו סמים ופלטפורמות הימורים; אלגוריתמי המלצות טורפים את תשומת הלב והכסף שלנו; ושיווק והונאות מנצלות חולשות אנושיות, מגירויים-על ועד לפתיחות. עבור כוח, יש שכנוע, תעמולה, אינדוקטרינציה ומעקב, לצד כלים בוטים יותר כמו סחיטה וסחיטה.
אסימטריה כוח ואי שוויון
כאשר הכוח והמשאבים מתרכזים בין הבודדים, או מחולקים בצורה לא שוויונית, בסופו של דבר חסרי כוחם של בעלי המזל פחותים: אנשים חסרי עושר, השפעה או יכולת תיאום לא יכולים לשנות את הנסיבות שלהם. אי השוויון הרלוונטי נע בין דברים מוחשיים כמו הכנסה, לדברים פחות מוחשיים כמו סטטוס וקשרים. מעבר לכל ערך מהותי, שוויון נוטה להיות בריא מבחינה אינסטרומנטלית: הסרת אנשים מעוני יכולה להרחיב את היצע העבודה, צוותים מגוונים יכולים לטפח יצירתיות וחדשנות, ושוויון יכול לאפשר תיאום טוב יותר שכן המשא ומתן הוא לרוב קל יותר על בסיס שווה.
אי שוויון בעושר הוא אולי הדוגמה הבולטת ביותר, ושווה להרחיב עליה מעט:
אי שוויון בעושר
1% העשירים ביותר מחזיקים בסביבות 36.4% מהעושר העולמי, על פי ה מאגר אי-שוויון העולמי. נתח העושר הזה יציב באופן כללי מאז 1980 בערך.
עם זאת, אי השוויון בין ה בצורה קיצונית עשיר, העליון 0.001% ושאר העולם הוא עולה בהתמדה. ה-0.001% העליונים מחזיקים בערך פי שלושה מהעושר של כל המחצית התחתונה של האנושות:
מקור: דו"ח אי השוויון העולמי לשנת 2026
אוטומציה של בינה מלאכותית מאיימת להרחיב עוד יותר את אי השוויון על ידי העברת הכנסה מעבודה לכיוון הון, מה שמגביר מגמה שנראית התחילו לפני עשרות שנים:
מקור: חוסר איזון מקרו כלכלי גלובלי לאחר המשבר: מהמתינות הגדולה לקיפאון חילוני
תהליך זה מרחיק משאבים כלכליים מפועלים לבעלי הון. ראה גם את הדיון בנושא אוטומציה על איך זה עלול לגרום לאובדן כוח והשפעה.
שימו לב שהמעבר הזה עשוי להיות הדרגתי מאוד, כאשר סקטורים כלכליים רבים עשויים להיות עמידים למדי בפני אוטומציה של AI. בעוד שנתח העבודה של התמ"ג עשוי להיות היבט חשוב של אובדן כוח והשפעה הקשור לבינה מלאכותית, סביר להניח שההשפעות יחולקו בצורה מאוד לא שווה.
אסימטריית כוח מתפשטת בין תחומים
סוג אחד של אסימטריה כוחנית או אי שוויון נוטה להתפשט לאחרות. אי שוויון כלכלי הופך לאי שוויון משפטי שבו תוצאות בתי המשפט תלויות בשאלה אם אתה יכול להרשות לעצמך עורכי דין מיומנים, ואי שוויון פוליטי שבו כסף קונה לובינג ומערכות בחירות.
באותו אופן, גישה ל-AI עשויה להפוך לגורם הקובע לרוב צורות אי השוויון החברתי. אם יש לך את הבינה המלאכותית הטובה ביותר, תוכל להשתמש בה כדי לצבור הון, לשפר את ההחלטות שלך ולהתגבר על יריבים. אינטליגנציה נראית כמו המשאב האולטימטיבי, ואם לא נבטיח שוויון בתחום הזה, זה יפתח תהום עצומה בין אלה שיש להם אותה לבין אלה שאין להם. התהום הזו יכולה באותה קלות לרוץ בין בינה מלאכותית סופר-אינטליגנטית לשאר האנושות.
אי שוויון ומעברים חברתיים
נראה כי אסימטריות כוח עומדות בבסיס מעברים חברתיים מרכזיים. המהפכה התעשייתית חילקה מחדש את ההון בין המעמדות החברתיים, ויצרה לחץ לקראת שוויון כוח שסייע לאפשר את המעבר לדמוקרטיה וליברליזם (אם כי מדובר בפשטנות יתר גסה של כל הכרוך בכך).
עם עליית הבינה המלאכותית, אוטומציה עשויה במקום זאת לאפשר ריכוז נוסף של הון בקרב הבודדים. התמריץ למדינות להשקיע באנשיהן נחלש (ה קללת הבינה), כאשר בינה מלאכותית מחליפה את העבודה האנושית כמקור ההכנסה העיקרי של המדינה והלחץ לריכוז גדל, מה שעלול לדחוף לעבר אוליגרכיה או אוטוקרטיה.
בעיות מנהל-סוכן
האצלת עבודה, החלטות וסמכויות מסתכנת באובדן כוח והשפעה סמכויות לאורך מספר דרכים: לסוכן (זה שהאצל אליו) עשויים להיות אינטרסים שונים מהמנהל (המאציל); המנהל הופך פחות מעורב במשימה המואצלת, מה שמוביל לחוסר מיומנות ופיקוח חלש יותר; ייתכנו כשלים בתקשורת או בהבנה ביניהם; ולמנהל עלול להיות חסר אמצעים להעניש, לשנות או להחליף את הסוכן כאשר הוא אינו פועל כראוי מטעם המנהל. אין גם תיאוריה מקיפה של העצמה שאומרת לנו כיצד סוכן יכול להעצים את המנהלים שלו בצורה הטובה ביותר. מדע הסוכנות, הכוח והערכים נראה לי לא מפותח.
בעידן הבינה המלאכותית יש את הבעיה הנוספת שלעתים קרובות הוא לא יכול להסביר את ההחלטות והנימוקים שלו, ואנחנו עדיין לא מבינים את פעולתו הפנימית, מה שהופך את האצלה לבינה מלאכותית לבלתי אמינה במהותה, לפחות עד שמחקר הפרשנות יבשיל במידה ניכרת.
חוסר מעורבות אנושית
בני אדם מסוימים עלולים לאבד מכוחם באמצעות עקירה או הגבלה, אך כאשר בני אדם באופן כללי מורחקים מתפקידי הליבה של המערכת, זה מייצר ביטול עוצמה רחב יותר של ההשפעה האנושית. השתתפות אנושית (באמצעות פיקוח, שיפוט, החלטות, פעולה, תקשורת) נוטה לשמור על שיקול מוסרי כלשהו במערכת, משפרת את ההתאמה שלה עם האנשים בה, ומספקת גמישות, שכן בני אדם יכולים להיכנס פנימה כאשר הליכים אוטומטיים או סטנדרטיים נכשלים.
חוסר נהירות
אפילו כאשר מערכת מאפשרת מעורבות אנושית בתפקודי הליבה שלה, ייתכן שבני האדם לא יוכלו לספק פיקוח משמעותי ברגע שהיא תגדל מדי, מהירה או מורכבת מדי.
מנגנונים למניעת אובדן כוח והשפעה
לאחר שבדקנו אילו תהליכים מובילים לאובדן כוח והשפעה, ומתי ומדוע, סעיף זה פונה אל הכוחות המנוגדים, המנגנונים לקראת העצמה.
סעיף זה הוא יותר חקרני מאשר מרשם. יש הרבה גישות שלדעתי יעזרו, אבל אני לא מתיימר לדעת איך הן יושמו בפועל, איך ייראו השלבים המדויקים, או איך לשכנע אנשים שהם רעיונות טובים. המטרה היא למפות את מרחב הפתרונות האפשריים, לסווג אותם ולהבין באיזה חלק מהבעיה כל אחד מתייחס.
כמה מאלה, במיוחד מיקסום תועלת, תיאום, ו מרווח פעולה, בהשראת סקוט אלכסנדר מדיטציות על מולוך. השראה מרכזית נוספת היא ריבוי, עם הרעיונות הרבים שלה לעיצוב מערכות המאמצות גיוון ושומרות על כוח המשתתפים.
המנגנונים חופפים ומחזקים אחד את השני. תיאום היא לרוב השיטה המשמשת לתכנון מחדש של מערכות לקראת מיקסום תועלת ו איזון; מרווח פעולה ו הבנה לעזור למאמצים אלה להצליח. כשם שתהליכי אובדן כוח והשפעה מחזקים את עצמם, גם המנגנונים נגדם ניזונים זה לזה, ומאפשרים ספירלות חיוביות ולא שליליות.
מיקסום תועלת
תהליכים כמו תחרות ו אופטימיזציה מקומית יכול להיות מאוד בונה כאשר הוא מכוון בכיוון הנכון. כשהשווקים עובדים טוב, הם מספקים מוצרים שממלאים את הצרכים של אנשים בעלות נמוכה. במערכות שבהן תמריצים מקומיים מותאמים לשגשוג לטווח ארוך, קוצר רואי מפסיק להיות בעיה. זהו הכוח של מבני תמריצים ומדדים מתוכננים היטב המודדים מה באמת אכפת לאנשים.
כמה מנופים כאן הם שקיפות (לשווקים יעילים), אלטרנטיבות בסיסיות (גרסאות בסיסיות, אולי ממדינה, של שירות שאפשר לחזור עליהן כאשר אפשרויות אחרות הופכות לנצלניות), וקבלת החלטות קולקטיבית (שמייצגת אינטרסים מגוונים טוב יותר מאשר נציגות). זה קשור קשר הדוק ל איזון מנגנון למטה; למשל, כשאפשר להחליף מנהיגים באלו שהם מובילים, זה מטיל עליהם דין וחשבון ומעודד החלטות טובות יותר (אם כי זה לא תמיד עובד בצורה מושלמת).
גישה מעניינת למקסום תועלת בעידן ה-AI הוא יישור ערימה מלאה: "ההתאמה המקבילה של מערכות בינה מלאכותית והמוסדות המעצבים אותן עם מה שאנשים מעריכים." היא מציעה לייצג ערכים באמצעות מודלים עבים של ערך (TMV), המתוארים כ"מעמד רחב של גישות מובנות למודלים של ערכים ונורמות" שמטרתן חוסן רב יותר נגד עיוותים, פונקציות חלופות טובות יותר, כמו ערכים חלופיים ושימוש טוב יותר. סדרי העדפות, או תיאורי שפה טבעית.
מודלים עבים של ערך המיושמים על מערכת ממליצים, מה- מאמר Full-Stack Alignment
עם זאת, מוסדות ומערכות אחרות לא תמיד מתוארות היטב כהיררכיות קפדניות כמו באיור שלמעלה; הרעיון הכללי יותר הוא שיש לשמר ולהעביר ערכים בין מרכיבי מערכת המקיימים אינטראקציה ובין רשתות מצטלבות של יחידים וקבוצות, תוך התחשבות בהקשר הרחב יותר (השפעות חיצוניות שליליות, השפעות על תרבות ונורמות) וייעול לערכים קולקטיביים כמו גם לצרכים אינדיבידואליים (כגון אמון בקהילה).
למרות שאני קורא למנגנון הזה "מיקסום תועלת", אני לא מתכוון שיש איזשהו כלי עזר בודד ומפורט בבירור שיש למקסם אותו. אנחנו אפילו לא תמיד יודעים מה אנחנו רוצים. אני חושב שזה יותר בונה לשאול איך משתתפי המערכת יכולים לקבוע את הצורה והכיוון של המערכת בעצמם. נראה שזו תכונת ליבה של יישור ערימה מלאה, שמנסה לשמור כמה שיותר מהערכים והאינטרסים המורכבים של המשתתפים במקום לקבוע כיצד מערכת "טובה" צריכה לעבוד.
מיקסום תועלת אולי נשמע טוב, אבל האם אנחנו יכולים לעצב את המערכות שלנו כך, בהתחשב בכל הבעיות שנדונו בסעיפים הקודמים? אני חושב שיש צורך באופטימיות מסוימת, כי מקסום תועלת הוא לעתים קרובות צודק טוב יותר. עם משתתפים מוסמכים, מערכות נוטות לפעול בצורה חלקה יותר. סיבה מרכזית לכך שהדמוקרטיה התפשטה יכולה להיות שהיא יעילה יותר מהחלופות, כאשר מדינות שאימצו אותה מתחזקות מאלו שלא. לפי אותו היגיון אולי עדיין יהיו מבני ממשל דמוקרטיים טובים יותר, כאלה שמעצימים אנשים אפילו יותר, שיגרמו לדמוקרטיות של היום להיראות אכזריות בהשוואה.
דוגמה נוספת היא ה מבנה חברת דייל-בעלות, כאשר השליטה בחברה אינה למכירה. הבעלים פועלים כ"דיילים", שמנווטים את החברה אך אינם מסוגלים להפיק רווחים כרצונם או למכור אותה לרווח אישי; משקיעים יכולים לקבל פיצוי אבל לא מקבלים שליטה ישירה. על פי הדיווחים, חברות בבעלות דייל עמידות יותר במשברים, ארוכות חיים, בנות קיימא וחדשניות יותר, ויש להן עובדים מאושרים יותר (אם כי עדיין לא אימתתי זאת באמצעות מקורות בלתי תלויים).
בעידן הבינה המלאכותית: מאמר היישור המלא מציע מספר דרכים בהן בינה מלאכותית יכולה לתמוך במבני תמריצים בונים והעברת ערכים באמצעות מערכת: מסיוע לאנשים להבהיר ולרדוף אחר הערכים שלהם, לאפשר אמצעים חדשים וחזקים יותר של פריחה אנושית, ועד לנציגי בינה מלאכותית שמנהלים משא ומתן בשם אנשים וקבוצות במהירות בינה מלאכותית, ועד —מתווכים בשוק מקדמי משמעות—: —במקום שצרכנים ישלמו ישירות עבור שירותים המבוססים על פרוקסי פשוטים שלעיתים לא מתאימים (כמו מנויים או התקשרות), המתווך ישלם לספקים על סמך תרומתם הנמדדת לשגשוג הלקוחות שלהם כפי שמתבטאת בערכים שלהם.
הצעה קשורה היא Civic AI: "בינה מלאכותית שעונה לאנשים שהיא משפיעה עליהם. במקום מערכת אחת רבת עוצמה שנבנתה כדי לשלוט בכולם, הרעיון הוא לבנות הרבה מערכות קטנות שקהילה יכולה להחזיק, לבדוק, לתקן ולבטל. הדיילים המקומיים האלה, שהמסגרת מכנה Kamis, נועדו לעזור לשכונות, בתי ספר, איגודים, קבוצות דת, ערים ופזורה לעשות את מה שהשונות הקולקטיבית תמיד הבטיחה בקנה מידה, אך לעתים רחוקות הבטיחו השונות: מתכוון בשטח פתוח, זכור בנאמנות, ופעל יחד. אף מודל מרכזי לא מחזיק בהם; קהילות שוללות, בודקות, מתמודדות ויכולות לסגור אותן.— המבנה יאפשר קבלת החלטות קולקטיבית בהיקפים גדולים יותר תוך שמירה על ייצוג טוב של המשתתפים.
גורמים עיקריים זה מתייחס: שליטה על ידי אחרים (אנשים מקבלים תמריצים, והנהלים מתוכננים, כדי לחזק את המשתתפים במקום לנצל אותם) ו בעיות מנהל-סוכן (סוכנים ומנהלים מיושרים באופן רחב באמצעות מערכות שנבנו לטיפול בתחומי עניין מגוונים).
תיאום
אובדן כוח והשפעה מקשה על התיאום לאורך זמן. הרשויות מתבצרות; מערכות הופכות גדולות, מהירות, אטומות או מורכבות מדי לפיקוח אנושי; ובני אדם מאבדים את היכולת להמציא או ליישם פתרונות טובים יותר. גרוע מכך, ייתכן שרוב האנשים לא שמים לב שמשהו לא בסדר, דעתם מוסחת על ידי צעצועי בינה מלאכותית מגניבים, ומושפעים ממדיניות רווחה טובה לכאורה, שעשויה להצביע בכיוון הנכון אך לא מצליחה למנוע אובדן כוח והשפעה בטווח הארוך (כגון מדיניות הכנסה בסיסית אוניברסלית המיושמת ללא מעקות בטיחות אחרים המבטיחים שבני אדם יישארו רלוונטיים בכלכלה ברובה לא אנושית).
אבל הקואורדינציה היא חזקה. אולי התקדמות חדשה בטכנולוגיית התיאום יכולה להפוך אותה לחזקה מספיק כדי אפילו להחליף לחצים תחרותיים בהנעת שינויים חברתיים. יהיה היגוי קולקטיבי, מכוון, לטווח ארוך. זה יהיה מה שאוון קוטון-באראט וריימונד דאגלס מכנים א מעבר בחירה. להלן דיון כיצד להפחית חיכוך קואורדינציה (ע"ע. עלויות עסקה), לשפר את התחושה והקבלת ההחלטות הקולקטיבית, וכיצד עשויה האמנה החברתית להשתנות.
גורמים עיקריים זה מתייחס: בלתי הפיך (מאמצים מתואמים חזקים יותר מיוזמות בודדות, מה שמאפשר פתרונות שאפתניים יותר), אסימטריה כוח ואי שוויון (הרבה משתתפים חלשים יותר יכולים להצטרף יחד למינוף), בעיות מנהל-סוכן (אסטרטגיות תיאום טובות מפחיתות לעתים קרובות את הצורך להאציל משימות והחלטות לרשות מרכזית), חוסר מעורבות אנושית (מטבעו, תיאום מחייב השתתפות)
הפחתת עלויות העסקה
חלק מההסכמים ישפרו לפחות אדם אחד או קבוצה אחת, בעוד שאף אחד לא ירע יותר (מה שנקרא שיפור פארטו הסכמים), אך לעולם לא יושמו. יש מדינות בעולם טובות יותר מהמצב הזה שאנחנו פשוט לא יכולים להגיע אליהם, כי החיכוך, עלות העסקה, גבוה מדי.
כאן אתייחס למאמר מצוין של נורה עמאן, נתיבים הדרגתיים לפריחה קולקטיבית. עמאן מציע תשתית חדשה, המתאפשרת בעיקר על ידי AI, כדי להוזיל את עלויות העסקאות:
- תשתית מידע זה עושה את זה זול יותר להבין מה נכון ולשתף אותו כראוי
- לדוגמה: תשתית למודלים עולמיים ניתנים להרחבה כמו אונטולוגיות משותפות וגרפים "חיים", חישובים לשמירה על הפרטיות ומנגנונים לצבירה של מידע מבוזר כמו שווקי חיזוי, מערכות מוניטין ורשתות חיישנים.
- תשתית דיונים שעוזר ליחידים ולקבוצות להבין מה הם בעצם רוצים.
- לדוגמה: גיוס העדפות ועזרי השתקפות מובנים, תשתית ליצירת חושים קולקטיביים, התלבטות ודמיון.
- תשתית מיקוח מה שמקל על הגעה, ציון וביצוע הסכמים מורכבים מרובי צדדים בין שחקנים הטרוגניים, כולל מנגנונים שעמידים בפני מניפולציות אסטרטגיות.
- לדוגמה: בינה מלאכותית המסוגלת להשתמש או לייצר פרוטוקולים חסיני אסטרטגיה או קריפטוגרפיה ניתנת לתכנות, נציגי בינה מלאכותית עם אילוצים הניתנים לאימות ואפשרויות ניואנסיות שצוינו עקרוני
- תשתית אמון/אבטחה שביססו תביעות דיגיטליות במציאות הפיזית, ובכך הפחיתו את עלויות הניטור והאכיפה.
- לדוגמא: חומרה מאובטחת, חיישנים מובהקים, חישוב ניתן לאימות, מפעילים בעלי אחריות.
חוצה את כל אלה הם פיקוח ניתן להרחבה פתרונות: תשתית המאפשרת לבני אדם להשיג אמון מוצדק בתפוקות בינה מלאכותית - בין אם זה במדע, בהנדסה או בקבלת החלטות - גם כאשר מערכות בינה מלאכותית מטפלות יותר בעבודה. גם אם מערכות AI מיושרים בעיקרם, אמון עיוור אינו חזק. מערכות בינה מלאכותית עדיין יכולות לעשות טעויות, לא להבין משימות (כולל בגלל שההוראות עשויות להיות מעורפלות באמת), להיות כפופות לחבלה או דומה. פתרון זה פותח תיאום AI-AI (סוכנים יכולים להוכיח דברים זה לזה) ותיאום AI-אנושי (בני אדם יכולים לשמור על פיקוח גם כשיכולות ה-AI גדלות). בלעדיו, אנחנו לא משתמשים בבינה מלאכותית (ונפולים בפיגור) או משתמשים בה ללא ביטחון מספק (ומכניסים סיכונים חדשים).
שכבות אלו יחד יוצרות פרוטוקול אמון משותף: מחסנית שבה כל שכבה מאפשרת את האחרות, והשלם הופך לבסיס לתיאום בקנה מידה. אמון תשתית קרקע תשתית מידע; מודלים מדויקים בעולם תומכים בהתלבטות; העדפות ברורות מאפשרות מיקוח יעיל; הסכמים הניתנים לאכיפה סוגרים מעגל. ולבסוף, עודף משיתוף פעולה מקדם השקעה נוספת בערימה.
תהליכים דמוקרטיים טובים יותר
מלבד הפחתת עלויות העסקאות, אולי נוכל לקדם את המבנים החברתיים הבסיסיים עצמם. דמוקרטיה היא, אחרי הכל, גם טכנולוגיה, וכזו שלא ראתה התפתחות רבה מזה זמן מה.
אולי קבלת ההחלטות יכולה להיות יותר מקומית, שקופה וקולקטיבית, כמו ב Civic AI מסגרת. ניתן להשתמש בבינה מלאכותית כדי לצבור צפיות בצורה יעילה יותר, ולנהל משא ומתן בשם אלה שנעדרים מתהליכי קבלת החלטות. תוכניות הצבעה אלטרנטיביות כמו הצבעה ריבועית תן לבוחרים להביע את עוצמת ההעדפות שלהם, כך שניתן לטפל בבעיות מיעוט כאשר למיעוט אכפת מהם באופן אינטנסיבי בעוד הרוב לא.
חוזה חברתי חדש
האמנה החברתית מגדירה את מערכת היחסים בין יחידים לסמכות, בין אם מדינה, ובין אם החלטת הרוב. אנשים מוותרים על חירויות מסוימות בתמורה להגנה וסדר חברתי. זוהי מערכת הזכויות, הסמכות, החירויות והחובות, הכללים שלפיהם יחידים וקבוצות פועלים כחלקים ממכלול גדול יותר.
החוזה הזה יכול תזוזה משמעותית עם טכנולוגיה חדשה. טכנולוגיה מסוימת מאפשרת לנו לוותר על פחות חירויות תוך שמירה על היתרונות של סדר וזכויות, כמו אימות זהות לשמירה על הפרטיות. טכנולוגיה אחרת, כמו מעקב המוני המופעל על ידי בינה מלאכותית, יכולה לדחוף את החוזה לעבר סמכותיות. בינה מלאכותית יכולה לשבור את החוזה הנוכחי לחלוטין, וליצור את סוגי התרחישים של הורס חופש שתוארו קודם לכן. או שהיא יכולה לשפר אותה, להוזיל את עלויות התיאום כדי לאפשר צורות חדשות של הסכם, או לתמוך בתהליכים דמוקרטיים טובים יותר.
הנקודה שלי היא שאנחנו לא צריכים להתמקד בלבד על קבלת החלטות קולקטיבית כמו דמוקרטיה, או על מדיניות רווחה כדי לרכך את המעבר של AI. אנחנו צריכים לדון בכל האמנה החברתית: כיצד היא צריכה לפעול וכיצד ניתן לאכוף אותה; זכויות, תפקידים וחובות; מקהילות קטנות ועד לבריתות בינלאומיות; בתוך ובין תחומי המשפט, הפוליטיקה, השווקים, החינוך ותחומים חברתיים אחרים.
יש חוסר חמור בניסיונות לתאר עולם מתפקד היטב עם AGI או אינטליגנציה על. אפילו ה AI 2027 התרחיש מותיר בעיקר את השינויים החברתיים ארוכי הטווח לדמיונו של הקורא.
איזון
עד כה, משהו תמיד מנע מכל ישות אחת להשיג שליטה מוחלטת על כדור הארץ. זה לא היה מובן מאליו, בהתחשב בצבאות עצומים, מונופולים ענקיים ויכולת תיאום גלובלית. ריכוז הכוח גדל עם הזמן (מקבוצות קטנות למדינות, לאימפריות ועד למעצמות), אך עדיין נותרו כוחות השומרים על התחרות. אולי נוכל ללמוד מהם.
כאשר לאומה אחת יש צבא חזק יותר מאחרת אך עלות התקיפה גבוהה מדי, מאזן הכוחות נמשך למרות האסימטריה. לנשק גרעיני יש מונח משלהם לאיזון שלהם: הרס הדדי (MAD).
איזון אינו מתנגד לאסימטריה ואי שוויון. זה יכול לשמר העצמה למרותם, אם כי שוויון מגרש המשחקים עוזר. צמצום פערי ההכנסה באמצעות בחירה פוליטית מכוונת הייתה היסטורית קשה מאוד; שיטות חלוקה מחדש כמו הכנסה בסיסית אוניברסלית (UBI), רצפות עושר, בעלות ציבורית על מחשוב או מחשוב בסיסי אוניברסלי (UBC), ודיבידנדים של אזרחים עשויים לתמוך באופן שולי בהעצמה, אבל כנראה לא ישפרו הרבה את השוויון או הסימטריה ללא מאמץ קיצוני (וכפי שמזהירה קללת המשאבים, מאמצים כאלה נכשלים לעתים קרובות אם יש מעט תמריץ להשקיע כל כך הרבה בציבור). אבל אולי קל יותר להשיג איזון מאשר שוויון מלא, מה שמקל על אובדן כוח והשפעה שגורמת אסימטריה.
מנופים רבים שייכים לכאן: הפרדת רשויות לאיזון בין סמכויות המדינה, זכויות כמו חופש הביטוי, הגנות על חושפי שחיתויות, חוקי הגבלים עסקיים.
שיטות לאיזון מתחלקות בגדול לשני סוגים, שאקרא להם אנכי ו אופקי איזון. איזון אנכי פועל בין שחקנים ברמות שונות של היררכיה (רמות רשות, יחידים וקולקטיבים, עובדים ומעסיקים). זה נוגע לאופן שבו רמות נמוכות נשארות מועצמות למרות כניעת חופש מסוים לרמות גבוהות יותר: כיצד אנו מונעים מקומות עבודה פוגעניים, מבטיחים שאינטרסים של מיעוט ייחשבו, ובונים אמנה חברתית בריאה[6]. כאן שייכות זכויות הצרכן והאפשרויות של קול (השתתפות דמוקרטית, מחאה, עיתונות, הלשנות) ו יציאה (רגולציה של הגבלים עסקיים, היכולת להחליף מעסיק או להגר), כמו נחקר על ידי אלברט או. הירשמן.
איזון אופקי פועל בין שחקנים בתפקידים דומים, ונוגע לאופן ניהול תחרות ואינטרסים מנוגדים מבלי ליפול למלכודות תחת תחרות. לפעמים יש צורך בסמכות גבוהה יותר כדי לספק סדר, מה שמסתכן באובדן כוח והשפעה ריכוזיות אבל ניתן לבדוק על ידי איזון אנכי. כאן שייכות לנורמות חברתיות, אמנות בינלאומיות, MAD ושיטות הבטחה שמחזיקות צדדים להסכמים ללא קשר למידת השוויון שלהם.
יכול כמובן להיות איזון גם בין סוגים שונים לחלוטין של שחקנים שאינם מתאימים לקטגוריות הרחבות הללו, אבל זה יהיה יותר ספציפי למקרה וקשה יותר לדון בו במונחים כלליים.
גורמים עיקריים זה מתייחס: בלתי הפיך (איזון שומר על כמה שחקנים מספיק מוסמכים להגיב כשדברים משתבשים), שליטה על ידי אחרים (אנשים מוסמכים להתנגד למניפולציות), אסימטריה כוח ואי שוויון (זה שומר על העצמה למרות אסימטריה), בעיות מנהל-סוכן (אף אחד מהצדדים לא יכול לנצל את השני), ו חוסר מעורבות אנושית (איזון מושג בדרך כלל באמצעות בדיקות ופיקוח הדדיים).
נדיבות
מנהיג מיטיב, כל יכול, משוחרר מלחץ תחרותי ותמריצים רעים, יכול באופן עקרוני לפתור כל בעיה במאמר זה, להעצים את כל השאר כמו הורה דואג תוך שמירה על סמכות אולטימטיבית. אבל נתיבים כאלה הם מסוכנים, ומסכנים תוצאות סמכותיות דיסטופיות. קשה להבטיח אחריות ואיזון מבלי להכניס מחדש את התמריצים שגישה זו נועדה להימנע מהם; אפילו דמוקרטיות לא הצליחו (עדיין). ואיך נדע אם מנהיג לעתיד הוא באמת מיטיב?
ובכל זאת, הנדיבות היא מרכזית במניעת אובדן כוח והשפעה. זה כוח כל כך חזק שלעתים קרובות הוא מתמודד מול הכוחות הנוראים של תמריצים הרסניים ותחרות מרושעת, ועולה על העליונה. בתור סקוט אלכסנדר מציב את זה:
היקום הוא מקום חשוך ומבשר עין, תלוי בין אלוהויות זרות. קטולהו, גנון, מולוך, תקראו להם איך שתרצו.
אי שם בחושך הזה נמצא אל אחר. היו לו גם שמות רבים. ב- קושיאל ספרים, שמו היה אלוה. הוא אל הפרחים ואהבת חינם וכל הדברים הרכים והשבירים. של אמנות ומדע ופילוסופיה ואהבה. של נחמדות, קהילה וציוויליזציה. הוא אל של בני אדם.
האלים האחרים יושבים על כסאותיהם האפלים וחושבים "הא חה, אל שלא שולט אפילו במפלצות גיהנום או מצווה על המתפללים שלו להפוך למכונות הרג. איזו חלשה! זה הולך להיות כל כך קל!—
אבל איכשהו אלוה עדיין כאן. אף אחד לא יודע בדיוק איך. והאלים שמתנגדים לו נוטים למצוא את עצמם נפגשים עם א מפתיע מספר תאונות מצערות.
יש הרבה אלים, אבל זה הוא שלנו.
רוב האנשים דווקא נחמדים אחד לשני. דברים משתבשים בעיקר בגלל בעיות מבניות, לא בגלל זדון. דברים משתבשים כשההצעה להקריב את כל מה שאנחנו אוהבים בשביל כוח, או יעילות, או יתרון זמני נשארת פתוחה. וטובת הלב, כמו שאר המנגנונים, יכולה להתחזק. זה נכס של תרבות, נורמות, אידיאולוגיות ודתות כמו תכונה של יחידים, והוא שייך למוסדות ולמבני מערכת כמו לאינטראקציות בין אנשים. גישות כמו מודלים עבים של ערך, ועיצובים פלורליסטיים עם יותר חושים וקבלת החלטות, עשויות לתת לטובת הלב לשחק תפקיד גדול יותר במוסדותינו.
הגורמים הבסיסיים העיקריים שבהם מתייחסים: שליטה על ידי אחרים (שחקנים בעלי הכוח לשלוט באחרים בוחרים שלא), אסימטריה כוח ואי שוויון (החזקים בוחרים לא לנצל את החלשים, ומכבדים הסכמים ונורמות בריאות), ו בעיות מנהל-סוכן (סוכנים באמת מנסים להעצים את המנהלים שלהם).
הבנה
לעתים קרובות ניתן להימנע מאובדן כוח והשפעה די בקלות, כל עוד אנשים מבינים מה קורה. ניצול קל הרבה יותר כאשר המנוצלים אינם יודעים על כך ומקבלים את מצבם כפשוטו כפי שהם. אנשים שמזהים טקטיקות מניפולציות נפוצות (בפוליטיקה, בפרסום, בהטעיה רגשית) מוכנים יותר להתנגד להן, ומערכות קריאות ושקופות מאפשרות לנו לחשוב היטב מה אנחנו יכולים וצריכים לעשות.
הדיסציפלינות הרלוונטיות, כולל אך לא רק סוציולוגיה, כלכלה פוליטית, תיאוריית החלטות, פילוסופיה, פסיכולוגיה, חיזוי ותורת הידע, נראים לי כלא מפותחים ולא מוכנים לאתגר של מאבק באובדן כוח והשפעה. אנחנו צריכים תיאוריות טובות יותר של העצמה וסוכנות.
בינה מלאכותית חותכת כאן לשני הכיוונים: כלי למידע מוטעה באמצעות זיופים עמוקים ותעמולה אוטומטית, או כלי שיעזור לאנשים לחקור ולהבין את הנסיבות שלהם. ריאן גרינבלט מציע נותן לכל אדם נציג ויועץ בינה מלאכותית:
אם לכל אדם היה נציג AI תחרותי ומיושר שייתן להם עצות כיצד לקדם את האינטרסים שלו, כמו גם לרדוף ישירות אחר האינטרסים שלו על סמך הכיוון שלו (וזה קרה מוקדם לפני שאנשים איבדו את כוחם), זה היה פותר את רוב החששות הללו.
זה נראה כאילו זה יכול לעזור בשוליים, אבל, כמו UBI או UBC, זה נותן לאנשים משאב בסיסי מבלי להתייחס לאי השוויון הבסיסיים ולדינמיקה תחרותית לא בריאה.
AI יכול גם לעזור להאיץ את ההתקדמות בדיסציפלינות לעיל. זה יהיה טרגי מאוד אם בינה מלאכותית תגרום לאובדן כוח והשפעה בלתי הפיך לפני שהיא הייתה מסוגלת מספיק לעזור לנו לפתור אותה.
גורמים עיקריים זה מתייחס: שליטה על ידי אחרים (אלה שמבינים איך אחרים עשויים לשלוט בהם יכולים להתנגד לזה), חוסר מעורבות אנושית (קל יותר לקחת חלק בתהליכים שאתה מבין), חוסר נהירות (שיפור ההבנה משפר את הקריאות), ובאופן רחב יותר, כל גורם אחר (הבנה טובה יותר של אובדן כוח והשפעה עוזרת נגד כולם).
מרווח פעולה
כשקשה להשיג את הצרכים הבסיסיים, התחרות הופכת לעזה, וכאשר הפסד פירושו לאבד הכל, אנשים נוקטים באמצעים דרסטיים כדי להימנע מכך. מרווח פעולה (קיבולת עודפת, משאבים פנויים, יתירות) הוא אפוא מגן. בתור סקוט אלכסנדר מציב את זה: —כל עוד המשאבים לא דלים מספיק כדי לנעול אותנו במלחמה של כולם נגד כולם, אנחנו יכולים לעשות דברים מטופשים לא אופטימליים — כמו אמנות ומוזיקה ופילוסופיה ואהבה — ולא להיות מתחרים על ידי מכונות הרג חסרות רחמים רוב הזמן.—
מרווח פעולה זה לא רק משאבים פיזיים. זה גם עניין של זמן ותשומת לב. ככל שמערכות ומוסדות גדלים מורכבים יותר ויותר דברים מתחרים על תשומת הלב שלנו, המשאבים הנפשיים שלנו הולכים וגדלים. יש אינפלציה במאמץ האישי, שבו אותו מאמץ קונה פחות ממה שהיה פעם, על פני תחום אחר תחום.
מרווח פעולה הוא מה שנותן למנגנונים האחרים, במיוחד איזון ו מיקסום תועלת, מקום לפעול. בלעדיו, אין מרווח שבו ניתן לתאם, להתלבט או להתנגד.
גורמים עיקריים זה מתייחס: שליטה על ידי אחרים (פחות סיבה לשלוט באחרים כשיש מספיק מה להסתובב) ו אסימטריה כוח ואי שוויון (אפילו תחת אי שוויון, רוב המשתתפים יכולים להישאר מוסמכים במידה רבה כאשר יש מספיק לכולם).
פירוק מושג אובדן הכוח והשפעה
המקורי אובדן כוח הדרגתי המאמר מתמקד בשלוש מערכות (כלכלה, תרבות ומדינה) תוך שהוא מציין שהטיעון משתרע על אחרים, כמו מחקר או משפט. אבל יש כמה דרכים שימושיות לפרק את אובדן כוח והשפעה, המאפשרות דיון ניואנסים יותר. כל אחד מציע זווית אחרת על הכוחות המעורבים.
- לפי המערכת החברתית: כלכלה, תרבות, מדינה, (מדע, משפט).
זו החלוקה שנחקרה בהמאמר המקורי על אובדן כוח הדרגתי. הוא בוחן כיצד בינה מלאכותית עשויה לגרום לאובדן כוח והשפעה בכל אחת מהמערכות הללו, וכן כיצד אובדן כוח במערכת אחת יכול להתפשט ולחזק אובדן כוח והשפעה במערכות אחרות. כשאתה מצביע על בעיות במערכת אחת (כמו אי שוויון), אתה יכול להציע שמערכת אחרת תספק פתרון (המדינה מציגה מדיניות חלוקת משאבים), אבל זה לא עובד אם מתרחשת אובדן כוח והשפעה כל המערכות בבת אחת. - לפי פעילות: עבודה (פיתוח מוצרים, מחקר, יצירת אמנות), קבלת החלטות (השקעות, בחירות בחיים, מדיניות, תכנון) והשתתפות חברתית (מערכות יחסים, חברות, חונכות, טיפול, קהילה).
תהליכי אובדן כוח והשפעה פועלים לעתים קרובות על פעילות אחת בפרט, כמו סטנדרטיזציה שמפחיתה את חופש קבלת ההחלטות בעוד אוטומציה משפיעה בדרך כלל על העבודה (אם כי AI עתידי עשוי להפוך את שלושתן לאוטומטיות). ערך וזהות מעוצבים על ידי פעילויות בכל קטגוריה: עבודה (אמנות, מדיה בידורית), קבלת החלטות (ייעוץ) והשתתפות חברתית (חברות, נורמות). - לפי סוג חוסר החופש: עקירה (דחיקה מתפקידים בעבודה, במערכות יחסים או במקומות אחרים), שליטה (האמונות והפעולות של האדם מנוהלות על ידי כוחות חיצוניים), והגבלה (מגבלות על מה שניתן לעשות, ללמוד או לומר).
יש הבדל איכותי בין איבוד כוח בגלל שכבר אין לך צורך (עקירה), מה שלא מגביל מבחינה טכנית את הפעולות שלך, לבין מניפולציה או הגבלה ישירה. אלה חלים על יחידים אך גם על חברות שלמות. ניתן לפצל אילוצים נוספים לאילוצים קשים על אפשרויות זמינות (דברים שאינם חוקיים) ואילוצים רכים שרק מקשים על דברים (אתגרי תיאום). - לפי סוג הכוח הפוליטי: כוח קבלת החלטות (כוח גלוי, ישיר בידי מי שמחליט), כוח קביעת סדר היום (כוח סמוי, המופעל על ידי קביעת נורמות וערכים או עיצוב הליך ההחלטה), וכוח אידיאולוגי (כוח נסתר, המופעל על ידי השפעה על עצם המחשבות והרצונות של אנשים).
אלו שלושת פני הכוח של סטיבן לוקס, מ כוח; השקפה רדיקלית. (זמין תיאור קצר יותר של שלושת הפנים כאן.) אנו עשויים להעניק כוח קבלת החלטות ישירות לבינה מלאכותית, אבל בינה מלאכותית גם מעצבת מחדש את הנורמות והערכים שלנו בזמן שאנו מקיימים אינטראקציה איתם וביניהם באמצעות ממשקי מדיה וצ'אט. הפיכת הבינה המלאכותית לעל-אנושית בשכנוע היא סיכוי מפחיד, אולי צורה ערמומית עוד יותר של אובדן כוח והשפעה. - לפי קנה מידה: יחיד, קהילה, חברה/אנושות.
יחידים יכולים לאבד כוח, קבוצות יכולות לאבד כוח, או האנושות כולה יכולה לאבד את יכולתה לנווט את העתיד. חלוקה זו שימושית לחשיבה על פשרות: רשות מרכזית רבת עוצמה עשויה לאכוף ביתר קלות כללים השומרים על בני אדם בשליטה באופן כללי, אך במחיר של אובדן כוח והשפעה של יחידים וקבוצות. המערכת האידיאלית תעצים בני אדם בכל קנה מידה, הן חופש אינדיבידואלי והן יכולת תיאום בקבוצות, תוך שמירה על לחצים בשוק וכוחות אחרים מדחיקת ערכים אנושיים. - לפי יכולת תגובה לאיום: חשיבה (להבחין בבעיה ולהבין מה לעשות), יישום (למעשה לעשות משהו בנוגע לבעיה), ותיאום (שיתוף פעולה יעיל נגד האיום).
הוצע על ידי ריימונד דאגלס ואוון קוטון-באראט ב מאמר LessWrong, זוהי מסגרת שימושית לניתוח אובדן כוח והשפעה המחזק את עצמו, שקשה יותר להפוך אותה ככל שכושר התגובה נשחק.
הדמיה של יכולות תגובה (מקור: אובדן כוח והשפעה מסתחרר כמנגנון סביר לאסון קיומי)
- לפי רמת הפשטה של השפעה אנושית: שליטה ישירה (קבלת החלטות אנושית, תכנון, עיצוב, יצירת רעיונות), השפעה של ערכים ואינטרסים אנושיים (קבלת החלטות קולקטיבית, שיתוף פעולה, מוסר, הדדיות), וכוחם של כוחות אנושיים בכלל (תרבות, ממים, יצירתיות).
אנשים יכולים להיות מושפעים מכוחם, אבל ברמת הפשטה גבוהה יותר, מערכות יכולות להיות מושפעות פחות או יותר מערכי אנוש ככאלה. כוחות שוק חזקים הצליחו לנתק ערכי רווחת בעלי חיים מייצור בשר, כפי שמראה חקלאות במפעל. ברמה גבוהה יותר, אנו יכולים לדמיין את אובדן כוח והשפעה של כוחות אנושיים באופן כללי: תרבות, למשל, שמתפשטת ומסתגלת אך תמיד באמצעות בני אדם ואינטראקציה אנושית, ואשר ללא ספק הופכת לפחות "אנושית" ברגע שעוצבה בעולם הדיגיטלי על ידי אלגוריתמי המלצות המותאמים לשמירה והכנסה או מושפעת מתוכן בינה מלאכותית וחשבונות בוטים. - על ידי אינטראקציה בין אדם למערכת: תלות (עד כמה המערכת מסתמכת על בני אדם לתפקוד), קריאות (האם בני אדם יכולים להבין אותה ולקיים איתה אינטראקציה אפקטיבית), ויכולת ערעור (האם בני אדם יכולים להתנגד לתפקידיה או להחליף אותה במשהו טוב יותר).
ניתן להעצים את משתתפי המערכת על ידי שמירה על תלות המערכת בבני אדם, קריא וניתנת לערעור, בעוד שאובדן כוח והשפעה הוא תוצאה של כישלון באחד או יותר מאלה.
מחשבות לסיום
אנחנו צריכים הרבה יותר דיון והבנה של מה שקורה, גם בעידן הבינה המלאכותית וגם עם שאר החברה. המאמר הראשון המתאר אובדן כוח הדרגתי פורסם רק בתחילת 2025, והנושא נותר במובנים רבים בהתהוות ולא נחקר. אני ממליץ לקוראים להצטרף לשיחה. אנו זקוקים לתפיסה טובה יותר של האתגר, ולחזונות טובים יותר כיצד לתאם ולנווט את החברה שלנו למקום טוב.
קריאה נוספת
אלו העבודות שבנו את הבסיס למאמר זה. ההערות מתארות בקצרה מאוד מה שאבתי מכל עבודה עבור מאמר זה, במקום לסכם את העבודה עצמה.
- Kulveit, Douglas, Ammann, Turan, Krueger & Duvenaud — אובדן כוח הדרגתי: סיכונים קיומיים מערכתיים מפיתוח AI מצטבר (2025). ההצהרה המקורית של הבעיה.
- לוק דראגו ורודולף ליין — קללת הבינה. ב-AI, קללת המשאבים ושינויים באמנה החברתית בעקבות התפתחות טכנולוגית.
- סקוט אלכסנדר — מדיטציות על מולוך (2014). על הסיבה הסופית לבעיות חברתיות.
- אליעזר יודקובסקי — שיווי משקל לא מספק (2017), בפרט. ארגז הכלים של מולוך.— על כישלון תרבותי שנגרם על ידי מקבלי החלטות שאינם נהנים, אסימטריה של מידע ושיווי משקל פארטו נחות.
- אודרי טאנג, E. Glen Weyl וקהילת הפלורליטי — ריבוי (2024). על סטנדרטיזציה, עיצוב פלורליסטי וטכנולוגיה דמוקרטית.
- ג'ו אדלמן וחב'., — יישור ערימה מלאה: יישור AI ומוסדות עם מודלים עבים של ערך (2025). על יישור AI ומוסדות כאחד, עם שמירה על ערכים עשירים ושלמים באמצעות אינטראקציות בין שכבות ורכיבי מערכת.
מאמרים אחרים המאירים את הדינמיקה המרכזית של אובדן כוח והשפעה:
- ריימונד דאגלס ואוון קוטון-באראט — אובדן כוח והשפעה מסתחרר כמנגנון סביר לאסון קיומי. על שחיקת היכולת להגיב לאיומים.
- נורה עמאן — נתיבים הדרגתיים לפריחה קולקטיבית. על עלויות העסקאות והתשתית להורדתן.
עבודה קשורה מוקדמת יותר:
- סטיבן לוקס — כוח: השקפה רדיקלית (1974/2005). על שלושת פני הכוח.
- אלברט או. הירשמן — יציאה, קול ונאמנות (1970). על המנופים של הפרט.
- רוברט פוטנם — באולינג לבד (2000). על דעיכת המוסדות המתווכים.
- ג'יימס סי סקוט — לראות כמו מדינה (1998). על מדינות שהופכות את הנושאים שלהן לקריאה לעצמה על ידי הומוגניזציה וסטנדרטיזציה שלהם.
תודה שקראת! אם מצאת ערך בפוסט הזה, שקול לבדוק את הבלוג שלי: חיזוי עתידי של AI.
- ^
אולי אנשים חופשיים לעשות מה שהם רוצים ולעצב את עתידם בעצמם, אבל רוב בני האדם מחליטים לבנות מערכות יחסים עם מערכות בינה מלאכותית, לצרוך דברים שנעשו על ידי מערכות AI, לקבל ייעוץ מערכות AI וכו'. פחות ברור לי אם זו תוצאה שלילית (זו בהחלט לא התוצאה הגרועה ביותר האפשרית), אבל אנחנו צריכים להכיר בכך שהאנושות איבדה איזושהי כוח בחברה כזו. להשפעה האנושית אין יותר תפקיד גדול בעיצוב חיינו.
- ^
ראה למשל את AI 2027 תרחיש.
- ^
לדוגמה, ראה את רוברט פוטנאם באולינג לבד.
- ^
עם זאת, אני לא חושב שזה כל הסיפור, ועדיין לא חקרתי את הסטטיסטיקה סביב זה, אז קח את זה עם גרגר מלח.
- ^
- ^
לריצ'רד נגו יש דיון מעניין על יחסים א-סימטריים בריאים הוצג בסדנה במכון שוורץ רייזמן. מהורות ועד הוראה ועד להחזיק חיות מחמד, ישנן דוגמאות רבות שבהן הצד החזק פועל להעצמת הצד החלש (או לפחות לא לשלול ממנו כוח). אבל זה מצריך לעתים קרובות מנגנונים המבטיחים איזון.
מה אתם חושבים?
איפה אתם כבר מרגישים שהחלטות אנושיות מוחלפות במערכת שאיש אינו מבין או יכול לשנות?