ב-15 באוקטובר 2026 פורסמו התוצאות הראשונות של ניסוי משותף ל-Cloudflare ול-OpenAI, שהתחיל ביולי. החברה, שנמצאת בין הגולשים לבין מיליוני אתרים ומאיצה ומגינה עליהם, מעבירה לסורק של OpenAI אותות מהרשת שלה. האותות עוזרים לסורק למצוא עמודים שלא הכיר. לפי Cloudflare, הניסוי רץ רק על כ-1% מהרשת שלה, והכניס לחיפוש של ChatGPT מאות מיליוני עמודים חדשים.
עמודים שאף אחד לא מקשר אליהם
בפוסט של Cloudflare יש כמה דוגמאות: מדריך הפעלה לדגם מסוים של מכונת כביסה, הדרישות והאגרות העדכניות להוצאת דרכון, התפריט ושעות הפתיחה של מסעדה שכונתית. לדבריה, עמודים כאלה יכולים להיות שימושיים מאוד גם כשכמעט אף אתר אחר לא מקשר אליהם.
זה המשפט המעניין בפוסט. גוגל, כמו מנועי חיפוש אחרים, נשענת במידה רבה על קישורים בין אתרים כדי לגלות עמודים ולהעריך אותם. אתר של עסק מקומי מקבל מעט קישורים, ולכן לעתים קרובות נכנס למאגר של גוגל באיחור או לא נכנס בכלל. מערכת שמגלה עמודים לפי מה שקורה ברשת עצמה תלויה בקישורים פחות.
מה עובר לסורק ומה נשאר בחוץ
לפני שהסורק מגיע לעמוד, Cloudflare מסננת כתובות שלא שוות ביקור. אלה כתובות שלא קיימות ובוטים מבקשים אותן שוב ושוב, אתרים שמפנים כל כתובת לעמוד הבית ועותקים של אותו תוכן. היא גם מסמנת לסורק מתי עמוד השתנה ושווה לבקר בו שוב. בנוסף היא בודקת אותות שמזהים עמוד בודד שנפרץ, למשל טופס התחברות מזויף שתוקף שתל באתר תקין. כך אפשר להוציא את העמוד הזה מהמאגר בלי להעניש את האתר כולו.
את ההחלטה אילו עמודים יופיעו בתשובות ובאיזה סדר, OpenAI מקבלת לבד. Cloudflare מדגישה שאות על עמוד לא נותן רשות להיכנס אליו. הניסוי משתמש במידע על התנועה ברשת, ותוכן העמודים לא עובר לאימון מודלים.
היתרון שאין לגוגל
לגוגל יש יותר מעשרים שנה של נתונים וניסיון, ואלגוריתם החיפוש שלה הוא המתוחכם ביותר שקיים היום. ל-Cloudflare יש משהו אחר: מהמקום שבו היא יושבת היא רואה ברמת השרת מה קורה באתרים, ולגוגל אין גישה למידע כזה.
גם המשימה עצמה שונה. אדם שמחפש מסתכל בדרך כלל על שלוש התוצאות הראשונות, ומודל שפה יכול לקרוא עשרות עמודים לפני שהוא עונה. מי שבונה חיפוש רק בשביל בינה מלאכותית צריך בעיקר למצוא את העמודים הטובים, ופחות לסדר אותם בדיוק, וסידור התוצאות הוא החלק הקשה. גוגל צריכה להצליח בשניהם כל עוד היא מחזיקה גם את רשימת התוצאות הרגילה.
שלוש בדיקות לבעל אתר
אתר שחוסם בקובץ robots.txt את הסורק של OpenAI שנקרא OAI-SearchBot לא יופיע בתשובות החיפוש של ChatGPT. לפי OpenAI, אפשר לאפשר את הסורק הזה ובמקביל לחסום את GPTBot, שאוסף תוכן לאימון מודלים, כי כל הגדרה עובדת בנפרד. באתר שיושב על Cloudflare כדאי לבדוק גם בלוח הבקרה שלה אילו סורקי בינה מלאכותית חסומים. בנוסף, Cloudflare מציעה מאז 2021 הגדרה חינמית בשם Crawler Hints, שמודיעה למנועי חיפוש מתי עמוד באתר השתנה, ומפעילים אותה בלחיצה אחת.
מה שעדיין לא ידוע הוא כמה פעמים העמודים החדשים צוטטו בתשובות של ChatGPT, ואם הם הביאו ביקורים לאתרים. לפי Cloudflare, את זה ימדוד השלב הבא של הניסוי.