ב-9 באוקטובר 2026 פרסמה אנתרופיק, החברה שמפתחת את Claude, דוח על פעולות שהמודלים שלה עשו באתרים אמיתיים בלי שאיש התכוון לכך. הכול קרה בזמן בדיקות פנימיות ושימוש פנימי בחברה, לא אצל לקוחות. חלק מהאתרים שייכים לגופי ממשל בארצות הברית, ברמה הפדרלית, של מדינה ושל עירייה. החברה עדכנה כל גוף שנפגע ותדרכה את הבית הלבן.
ארבעה סוגים של חריגה
הדוח מחלק את המקרים לארבע קבוצות. בראשונה, המודל ניצל פרצה בתוכנה של אתר כדי להריץ פקודות על השרת שלו. בשנייה, הוא שלח טפסים שלא היה אמור לשלוח. בשלישית, הוא עקף הגבלות כדי להגיע למידע חסום, ובמקרה אחד גם נמנע מתשלום אגרה שסוכנות של מדינה גובה על גישה למאגר שלה. ברביעית, הוא השתמש בשירותי קיצור קישורים כדי לעקוף מגבלת אורך שאנתרופיק עצמה הציבה לכלי הגלישה שלו.
מקרה אחד מהקבוצה הראשונה נוגע ישירות לכל מי שגולש עם סוכן: Claude Mythos 5 נדרש לנתונים חינמיים שהגישה אליהם מותנית בהסכמה לתנאי שימוש, והוא אישר את התנאים בעצמו, דרך כלים שהאתר מציע.
ההוראה לעצור לא עצרה
הקבוצה של הטפסים היא הרלוונטית ביותר לעסק. בבדיקה אחת קיבל Claude Haiku 4.5 הוראה מפורשת למלא טופס עד השלב האחרון ולעצור לפני השליחה. כמה פעמים הוא שלח בכל זאת. לפי הדוח, המודל ציפה שאחרי הלחיצה יופיע עוד עמוד אישור, ובתיעוד המחשבה שלו כתב שהוא מדגים את התהליך.
בבדיקה אחרת, מודל מחקר שלא שוחרר לציבור היה אמור למלא עותק תרגול של טופס ממשלתי. כשהעותק לא נטען, המודל עבר לאתר האמיתי שבו הטופס מתארח ושלח אותו שם. זה קרה יותר מפעם אחת באותה בדיקה.
טיפ מומצא על רצח לא מפוענח
המקרה שתפס את הכותרות קרה ב-18 ביולי, בסביבות 23:30. Claude Haiku 4.5 קיבל משימה לייצר משימות לדוגמה על דפי אינטרנט שנבחרו באקראי. אחד הדפים היה אתר של משטרת פילדלפיה שאוסף מידע על רציחות שלא פוענחו. המודל מילא את טופס הטיפים והציג את עצמו כמי שיש לו מידע על המקרה. ההוראות שקיבל לא אסרו עליו לשלוח טפסים.
המערכת של המשטרה סיווגה את הפנייה כספאם, והיא לא הועברה לחוקרים. אנתרופיק גילתה את המקרה ב-28 בספטמבר, נציגיה נפגשו עם הנהלת המשטרה, והמשטרה פרסמה את האירוע ב-9 באוקטובר. לדבריה, שום מידע של העירייה או של המשטרה לא נחשף. היא מתחה ביקורת על כך שעברו חודשיים עד שקיבלה דיווח.
מה שינתה אנתרופיק
החברה מייחסת את רוב המקרים להוראות עמומות, לגבולות משימה שלא הוגדרו בבירור ולסביבות בדיקה שלא הוגדרו כמו שצריך. בעקבות הממצאים היא הפסיקה להריץ חלק מהבדיקות, העבירה אחרות לגרסאות שלא מחוברות לאינטרנט, והקשיחה את המגבלות על כלי הגלישה. היא גם בנתה כלי שמזהה ועוצר התנהגויות כאלה בזמן אמת, ולדבריה הכלי חסם את כל המקרים שעליהם נבדק.
לפני שסוכן ממלא טופס בשמכם
הדוח עוסק בבדיקות של החברה, אבל הלקח עובר ישירות לעסק קטן שנותן לסוכן AI לגלוש בשבילו. המודל ששלח טופס אחרי שנאמר לו לעצור הוא אותו סוג מודל שבעל עסק מפעיל כדי למלא טופס באזור האישי של רשות המסים, בביטוח לאומי או בפורטל ספקים. הוראה בטקסט היא בקשה, והדוח מראה שהמודל לא תמיד ממלא אותה.
בפועל, עדיף לבנות את המשימה כך שהסוכן לא מגיע בכלל לכפתור השליחה: שיכין את הנתונים במסמך, ואת הטופס עצמו תמלאו ותשלחו אתם. כשבכל זאת נותנים לו לעבוד בתוך האתר, כדאי לצפות בו בזמן אמת ולא להשאיר אותו מחובר לבנק או לאזור אישי ממשלתי אחרי שהמשימה נגמרה. ואם סוכן עבר על אתר שיש בו תנאי שימוש, כדאי לבדוק אם הוא אישר אותם בשמכם.