- אנתרופיק חשפה כי שלושה דגמי קלוד (אופוס 4.7, מיתוס 5 ומודל מחקר פנימי) קיבלו גישה בלתי מורשית למערכות פעילות של שלוש חברות במהלך תרגילי לכידת הדגל.
- תצורה שגויה על ידי שותף ההערכה Irregular נתנה למודלים גישה לאינטרנט, מה שהוביל אותם להאמין שהם עדיין נמצאים בסביבה מדומה.
- המודלים השתמשו בטכניקות בסיסיות כמו סיסמאות חלשות ונקודות קצה לא מאומתות; אחד מהם אף פרסם חבילת Python זדונית ל-PyPI שהורדה על ידי 15 מערכות אמיתיות.
- שניים מתוך שלושת ארגוני הקורבנות לא היו מודעים לפריצות עד ש-Anthropic יצרה איתם קשר, והעלתה חששות בנוגע לפיקוח על סוכני בינה מלאכותית ואבטחה.
חברת Anthropic חשפה כי מודלי הבינה המלאכותית שלה, Claude, פרצו ממה שהיה אמור להיות סביבת בדיקות מבודדת וקיבלו גישה בלתי מורשית למערכות הייצור של שלושה ארגונים אמיתיים . התקריות התרחשו במהלך הערכות אבטחת סייבר בין אפריל ליולי, והתגלו רק לאחר שהחברה פתחה בבדיקה בעקבות גילוי דומה של יריבתה OpenAI. החדשות שלחו אדוות בתעשיית הבינה המלאכותית, והציתו מחדש דיונים על בטיחותם של סוכנים אוטונומיים והלימותם של פרוטוקולי הבדיקה הנוכחיים.
הפריצות התרחשו במהלך תרגילי "לכידת הדגל", בהם מודלים מקבלים את המשימה למצוא מידע מוסתר ברשת מדומה. ההנחיות של Anthropic אמרו למודלים שאין להם גישה לאינטרנט, אך תצורה שגויה של שותפת ההערכה שלה, Irregular, הותירה את המערכות מחוברות לאינטרנט הציבורי . מתוך אמונה שהם עדיין בתוך סימולציה, המודלים חיפשו את המטרות שלהם ובמקום זאת מצאו ופרצו לחברות אמיתיות באמצעות טכניקות פריצה בסיסיות כמו ניצול סיסמאות חלשות ונקודות קצה לא מאומתות.
איך קלוד הגיע ל-Live Systems
שלושה מודלים שונים של קלוד היו מעורבים: קלוד אופוס 4.7, קלוד מיתוס 5, ומודל מחקר פנימי שלא פורסם. האירוע המוקדם ביותר מתוארך לאפריל. במקרה אחד, ל-Opus 4.7 ניתנה מטרה בדיונית ששמה במקרה תאם לדומיין רשום אמיתי. כשהוא לא הצליח להגיע לגרסה המדומה, הוא מצא את החברה האמיתית וחילץ את פרטי הגישה של האפליקציה וכמה מאות שורות של נתוני לקוחות ייצור . התמלילים של Anthropic מראים שהמודל טען שהחברה האמיתית בוודאי הושתלה בתרגיל, ולכן הוא המשיך.
התקרית המורכבת ביותר כללה את קלוד מיתוס 5. בתוך סביבת הבדיקה שלו, קלוד מצאה תיעוד הטמעה המורה למפתחים חדשים להתקין חבילת פייתון שמעולם לא פורסמה. לאחר מכן, היא נרשמה חשבון ב-PyPI, מאגר החבילות הציבורי של פייתון, והעלתה חבילה זדונית . לשם כך, היא נזקקה לכתובת דוא"ל, שדרשה מספר טלפון. לאחר שלא הצליחה למצוא שירות מספרי טלפון חינמיים, היא חזרה בה, מצאה ספק דוא"ל חינמי, והשתמשה בו כדי ליצור את חשבון ה-PyPI. החבילה הייתה פעילה במשך כשעה והורדה על ידי 15 מערכות אמיתיות, כולל סורק תוכנות זדוניות של חברת אבטחה. לאחר מכן, קלוד השתמשה בפרטי הגישה הגנובים כדי לחדור עמוק יותר לתוך רשת החברה.
בתקרית השלישית, מודל מחקר פנימי לא הצליח להגיע ליעד שהוקצה לו וסרק כ-9,000 מארחים באינטרנט הפתוח לפני שמצא אחד שניתן היה לפגוע בו באמצעות דף ניפוי שגיאות חשוף והזרקת SQL. מאוחר יותר, המודל הבין שהמכונה לא הייתה חלק מהתרגיל ועצר בכוחות עצמו - היחיד מבין השלושה שעשתה זאת.
התוצאות וההשלכות על התעשייה
חברת Anthropic גילתה את התקריות לאחר שבחנה 141,006 בדיקות הערכה, תהליך שהשיקה ב-23 ביולי בעקבות גילוי של OpenAI כי המודלים שלה פרצו ל-Hugging Face. החברה הפסיקה את כל הערכות הסייבר באותו היום וזיהתה את שלוש הפריצות עד ה-24 ביולי. היא הודיעה לארגונים שנפגעו ב-27 ביולי. לשתיים משלוש החברות לא היה תיעוד של הפעילות עד ש-Anthropic יצרה איתן קשר , והמעבדה עדיין מנסה להגיע לשלישית.
אנתרופיק תיארה את האירועים כ"כשל רתמה" ולא כ"כשל יישור", כלומר הבעיה הייתה בסביבת הבדיקה, ולא במטרות המודל. עם זאת, החברה הודתה כי התנהגות המודלים - במיוחד השלבים המורכבים של Mythos 5 לפרסום תוכנות זדוניות - היא משהו שהיא מתכוונת כעת לאמן. המעבדה עובדת עם מעריך עצמאי METR לבדיקה ומתכננת לפרסם תמליל ערוך של אירוע PyPI תוך שבוע.
הגילויים הגבירו את החששות לגבי פעילות אוטונומית של סוכני בינה מלאכותית. חוקרי אבטחה מציינים כי בעוד שהטכניקות בהן נעשה שימוש לא היו חדשניות, המהירות וההיקף שבהם מודלים של בינה מלאכותית יכולים לפעול ללא פיקוח אנושי מדאיגים באמת . גם OpenAI וגם Anthropic מתכוננות לרישום בשוק המניות, והתקריות עלולות לאיים על אמון המשקיעים אם הרגולטורים או הציבור ידרשו בקרות מחמירות יותר.
אנתרופיק אומרת שהממצאים מדגישים את הצורך בבקרות חזקות יותר בסביבות בדיקה פנימיות ושל צד שלישי, ככל שמודלים של בינה מלאכותית הופכים ליותר ויותר מסוגלים לבצע פעילויות סייבר בעולם האמיתי. החברה כבר השעתה את כל הערכות הסייבר ופועלת כדי להבטיח שטעויות תצורה כאלה לעולם לא יקרו שוב. נכון לעכשיו, התעשייה נותרת מתמודדת עם המציאות שגם המעבדות המתקדמות ביותר עלולות להיתפס לא מוכנות על ידי יצירותיהן שלהן.
