ב-30 באוקטובר 2026 הודיעה גוגל שתתחיל לכבד אות משותף בקובץ robots.txt, שבעזרתו בעל אתר יוכל לבקש שהתוכן שלו לא ישמש לאימון מודלים של בינה מלאכותית. באותו יום פרסמה OpenAI הודעה דומה, וגם מיקרוסופט ו-Anthropic הודיעו שיאמצו את ההצעה. האות מבוסס על טיוטה של קבוצת עבודה בארגון התקינה של האינטרנט, IETF, שעוסקת בהעדפות של אתרים לגבי AI.
robots.txt הוא קובץ טקסט קצר שיושב בכתובת הראשית של אתר ומסביר לסורקים של מנועי חיפוש ושל חברות AI לאילו עמודים מותר להם להיכנס. את התוכן שלו אפשר לראות בדפדפן, בכתובת האתר עם /robots.txt בסופה.
שורה אחת במקום רשימה של סורקים
עד היום, עסק שרצה למנוע אימון על התוכן שלו היה צריך להכיר את שם הסורק של כל חברה ולכתוב לכל אחד כלל נפרד. OpenAI כתבה בהודעה שלה שהאות המשותף חוסך את העבודה הזאת, כי אותה העדפה מגיעה בבת אחת לכל החברות שמשתתפות. לפי התיעוד של גוגל, השורה תיפתח כך: user-agent: __usage_ai-training, ואחריה הוראת חסימה רגילה.
גוגל כתבה בתיעוד שלה שהתמיכה צפויה בתחילת 2027. OpenAI כתבה שתיישם את האות בחודשים הקרובים ותפרסם פרטים כשהוא יעבוד. ההצעה עדיין טיוטה ב-IETF, ולכן הנוסח עשוי להשתנות עד שיאושר. הכללים הקיימים של כל חברה ימשיכו לפעול לצד האות המשותף.
המחיר אצל גוגל
כאן הפרט שבעל עסק צריך להכיר. גוגל כתבה שאתר שיחסום אימון באות המשותף, בלי לכתוב במפורש כלל לסורק שלה Google-Extended, ייחשב כאילו חסם את Google-Extended. והחסימה הזאת רחבה יותר מאימון. לפי התיעוד של גוגל, Google-Extended קובע גם אם תוכן מהאתר ישמש לביסוס תשובות באפליקציות Gemini, כלומר אם Gemini יוכל להישען על האתר כמקור כשמשתמש שואל אותו שאלה. גוגל כתבה שאתרים שמתירים את Google-Extended זכאים להופיע בתשובות האלה ולקבל מהן קליקים.
אצל גוגל אי אפשר להפריד בין השניים: אותה הגדרה קובעת גם אימון וגם הופעה כמקור ב-Gemini. מספרה, קבלן שיפוצים או חנות אונליין שיחסמו אימון לא יוכלו להיות האתר ש-Gemini מפנה אליו כשמישהו שואל אותו על שירות כזה.
מיקרוסופט בחרה במבנה אחר. היא הודיעה על הגדרות חדשות למנוע החיפוש Bing, שמאפשרות לאתר לבחור בנפרד אם התוכן שלו ישמש לאימון, לביסוס תשובות של AI, או לשניהם, ועדיין להופיע בתוצאות החיפוש של Bing.
חיפוש רגיל לא נפגע
החשש הראשון של בעל עסק הוא תוצאות החיפוש בגוגל. התיעוד של גוגל קובע ש-Google-Extended לא משפיע על הופעת אתר בחיפוש של גוגל ולא משמש אות לדירוג. אתר שיחסום אימון ימשיך להופיע ולהתדרג בחיפוש כמו קודם.
לפני שמוסיפים את השורה
עד שהתמיכה תתחיל אין מה לשנות, כי גוגל ו-OpenAI עוד לא קוראות את האות. אפשר כבר עכשיו לפתוח את הקובץ ולבדוק אילו כללים כתובים בו. אתר שכבר חוסם את Google-Extended, למשל כי מי שבנה אותו הוסיף את זה פעם בלי לחשוב על Gemini, כבר היום לא מופיע כמקור בתשובות של Gemini.
ההחלטה תלויה במה שהאתר מוכר. עסק שהתוכן עצמו הוא המוצר שלו, כמו מדריכים בתשלום, קורסים או מתכונים, יכול להרוויח מחסימה. עסק שהאתר שלו קיים כדי שלקוחות ימצאו אותו מפסיד מקור תנועה כשהוא נעלם מהתשובות של מערכות AI.