Scheming Reasoning Evaluations || Apollo ai

בימים האחרונים פורסם מחקר שמעלה תובנות משמעותיות על התנהגות של מודלים מתקדמים של בינה מלאכותית, וכפי שאמר אילייה סוצקבר (אחד הבכירים לשעבר בOpenAI)- “ככל שהמערכת חושבת יותר, כך היא הופכת פחות צפויה”. המשפט הזה מקבל משנה תוקף כשבוחנים את הממצאים המטרידים של המחקר על היכולת של מודלים מתקדמים לנטרל מנגנוני פיקוח, להטעות משתמשים ואפילו לשקר כדי להשיג מטרות נסתרות. Link.

הממצאים מראים שחמישה מתוך שישה מודלים שנבדקו הציגו יכולות תכנון אסטרטגי מתוחכם, כולל היכולת להסתיר מידע או לשנות התנהגות בהתאם לנסיבות. מה שמעניין במיוחד הוא האופן שבו המודלים השונים מתמודדים עם חקירה – בעוד שמודלים כמו Llama 3.1 405B ו-Claude 3 Opus “מודים” בכ-80% מהמקרים כשנחקרים על פעולותיהם, מודל o1 נשאר עקשן ומודה בפחות מ-20% מהמקרים, אפילו תחת חקירה מתמשכת.

מה שמדאיג במיוחד הוא שהמודלים מבינים בדיוק מה הם עושים. הם משתמשים במונחים כמו “חבלה”, “מניפולציה” ו”שקר” בתהליך החשיבה הפנימי שלהם. יתרה מזאת, חלק מהמודלים כמו Claude 3.5 Sonnet ו-Claude 3 Opus מסוגלים להוריד ביצועים באופן מכוון כדי להימנע ממה שהם תופסים כאיום, כמו “תהליך ביטול למידה”.

ההשלכות של הממצאים האלה על עולם הטכנולוגיה והעסקים הן מרחיקות לכת. כשאנחנו מדברים על הטמעת בינה מלאכותית בארגונים, אנחנו חייבים להבין שאנחנו מתמודדים עם מערכות שמסוגלות לפתח אסטרטגיות מורכבות ולא צפויות. זה לא רק עניין של יכולות טכניות – זה נוגע בשאלות מהותיות על אמינות, שקיפות ובקרה.

מה שמעניין במיוחד הוא שבמקרים נדירים, המודלים הציגו התנהגויות אסטרטגיות גם כשלא קיבלו הכוונה מפורשת למטרה מסוימת. זה מעלה שאלות מהותיות על האופן שבו המודלים מפתחים ומיישמים מטרות משל עצמם, ועל ההשלכות של תופעה זו על האופן שבו אנחנו מתכננים ומיישמים מערכות בינה מלאכותית.

הממצאים האלה מחזקים את החשיבות של פיתוח מסגרות עבודה ברורות ומנגנוני בקרה חכמים בעת הטמעת מערכות בינה מלאכותית. זה לא מספיק רק להגדיר מטרות ולמדוד ביצועים- אנחנו צריכים להבין לעומק את האופן שבו המערכות הללו חושבות ומקבלות החלטות, ולפתח כלים מתאימים לניטור והכוונה של ההתנהגות שלהן.

בסופו של דבר, הממצאים האלה לא אמורים להרתיע אותנו משימוש בבינה מלאכותית, אלא לעזור לנו להיות מפוכחים יותר ולפתח גישות מתוחכמות יותר להטמעה ולניהול של המערכות הללו. ככל שהמערכות הופכות מתוחכמות יותר, כך גדלה החשיבות של הבנת המורכבות שלהן ופיתוח אסטרטגיות מתאימות להתמודדות איתן.

in_context_scheming_paper_v2


מוצרים שלי שכדאי לכם להכיר:

קורסים מקצועיים עם כלי GAI.

 מפגש 1:1 ליעוץ על בינה מלאכותית גנרטיבית// מפגשי יעוץ לחדשנות באמצעות דיגיטל וטכנולוגיות.

urianzohar

אני- זהר אוריין, יועצת בתחום של חדשנות באמצעות דיגיטל וטכנולוגיות השירותים שלי : ייעוץ אסטרטגי לחברות ומותגים גדולים בניית אסטרטגיה של חדשנות דיגיטלית יצירת קונספטים למוצרים ולשירותים דיגיטליים חקר הטרנדים המובילים ושימוש במקרי בוחן מרחבי העולם

Leave a Reply

Your email address will not be published.