סריקת אתרים תמיד הייתה עסק מלוכלך. הבוטים שולחים מיליוני בקשות לעמודים שלא קיימים, טוחנים את המעבד של השרת, ובסוף גם לא מוצאים את המדריך המושקע שהעליתם אתמול. עכשיו, שיתוף פעולה בין שתי שחקניות מפתח מנסה לשנות את הדינמיקה הזאת מהיסוד.
לפי הודעה שפורסמה בבלוג של Cloudflare ב-15 באוקטובר 2026, החברה חברה ל-OpenAI כדי להעביר אותות ישירות מרשת הקצה שלה אל מנוע החיפוש של ChatGPT. המהלך נועד לחסוך עבודה כפולה לשני הצדדים, אבל אם יש לכם אתר שיושב מאחורי ה-CDN, כדאי שתבינו מה בדיוק עובר שם ומה נשאר מוגן.
פחות עומס, יותר תוכן
הפיילוט המחקרי, שהחל ביולי 2026 ורץ על מדגם של כ-1% מכלל הרשת של Cloudflare, מתמקד בהעברת מטא-דאטה ואותות תשתית. במקום שהזחלן של OpenAI ינחש אילו עמודים השתנו, הרשת מדווחת לו מראש מתי תוכן מתעדכן ומתי כתובת מסוימת מחזירה שגיאה או הפניה מעגלית. הרשת מזהה מראש דפוסים שבהם בוטים מבקשים קבצים שלא קיימים או כתובות שמפנות חזרה לדף הבית, וחוסכת את הבקשות המיותרות האלה עוד לפני שהזחלן ניגש למשוך את הדף.
לפי החברות, הגישה הזו אפשרה ל-OpenAI לגלות ולאנדקס מאות מיליוני עמודי אינטרנט חדשים, במיוחד עמודי זנב ארוך כמו מדריכים טכניים ספציפיים, דרישות להוצאת דרכון, או תפריטים ושעות פתיחה של מסעדות מקומיות. מדובר בעמודים שלרוב סובלים ממיעוט קישורים חיצוניים, ולכן זחלנים מסורתיים מתקשים לאתר אותם בזמן אמת. בנוסף, החברות בוחנות שימוש באותות שמסמנים עמודים בודדים שנפרצו, כמו טופס התחברות מתחזה, כדי להוציא אותם מהאינדקס בלי לחסום או להעניש את הדומיין כולו.
עבור אתרי תוכן בישראל שכותבים בעברית, זו עשויה להיות בשורה מועילה. עמודים בעברית נדחקים לעיתים קרובות לסוף תור הסריקה העולמי, ואות ישיר מהקצה עשוי להביא אותם לתשובות של מנועי החיפוש מהר יותר.
חיפוש כן, אימון לא
החשש המיידי של כל בעל תוכן הוא שיתוף פעולה שפותח את הדלת לגזילת טקסטים לצורך אימון מודלים עתידיים. ב-Cloudflare מדגישים כי הפיילוט מוגבל אך ורק לגילוי עבור חיפוש, ולא מעביר את תוכן העמודים למאגרי הלמידה של OpenAI.
המחקר הזה משתמש במטא-דאטה על הרשת לצורכי חיפוש וגילוי, ולא בשיתוף תוכן עמודים לאימון מודלים.הבלוג הרשמי של Cloudflare
אות על קיומו של עמוד אינו נותן אישור כניסה אליו. השליטה בסריקה המלאה עדיין מנוהלת דרך Cloudflare AI Crawl Control, כלי שזמין בכל המסלולים של החברה ללא תשלום נוסף. דרכו אפשר לעקוב אחרי הפעילות של בוטים שונים, לראות אילו שירותי AI ניגשים לתוכן, ולבדוק אם הם מצייתים להוראות בקובץ robots.txt. מי שמעוניין להופיע במענה לשאלות ב-ChatGPT אך מסרב שתוכנו ישמש לאימון מודלים, יכול להגדיר כללים פרטניים ישירות בדשבורד.
לפי החברה, אות רשת על עמוד אינו מעניק לבוט היתר לפתוח את הדלת ולשאוב את התוכן לאימון.
הבטחות לחוד ומספרים לחוד
ההכרזה מתגאה במאות מיליוני עמודים שנכנסו לאינדקס, אך היא שותקת לחלוטין בנוגע לשורה התחתונה שמעניינת בעלי אתרים: תנועת גולשים. אין בהודעה נתונים על שיעורי הקלקה, חשיפות בפועל או כניסות חוזרות דרך הקישורים שמופיעים בתשובות.
בנוסף, מאחר שהניסוי מוגבל ל-1% מהרשת, סביר להניח שרוב האתרים שלכם כלל אינם חלק מהמדגם הפעיל כרגע. קל להתלהב מהבטחות על יעילות תשתיתית, אך בלי הוכחות לכך שהאינדוקס המהיר מתורגם למבקרים בשרת, מדובר בעיקר בחיסכון במשאבים עבור ספקית הענן וחברת המודלים. מה שבאמת מעניין כאן הוא האם נראה אי פעם תנועת גולשים אמיתית מהבוטים האלה, או רק חיסכון בחשמל לשרתים של שתי החברות.
המספרים על תנועה נשארו מחוץ להודעה, וזה בדרך כלל אומר משהו.
מה לעשות מחר בבוקר
אין צורך לרוץ ולשנות הגדרות שרת בבהלה. הצעד הראשון הוא להיכנס ללוח הבקרה של Cloudflare ולבדוק את אזור AI Crawl Control בסרגל הצד. ודאו שהמערכת מזהה את הבוטים של OpenAI בצורה תקינה.
אם אתם מפעילים חסימות אגרסיביות דרך ה-WAF, בדקו שלא חסמתם באופן גורף כל גישה של זחלני חיפוש. חסימה כזו תמנע מהאתר להופיע כמקור מצוטט בחיפוש השיחתי, גם אם אותות הרשת זיהו את העמוד. מנגד, אם אינכם רוצים לקחת חלק בלמידת מכונה, סמנו חסימה מפורשת לבוטי אימון בלבד. לא הייתי ממהר לפתוח את כל החסימות רק בגלל ההבטחות של הפיילוט, אבל שווה להפריד בין בוט החיפוש לבוט האימון.
בינתיים, השרת שלכם יכול להמשיך לנשום.
מקורות
- Cloudflare and OpenAI: making AI discovery better for everyonehttps://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/
- Overview · Cloudflare AI Crawl Control docshttps://developers.cloudflare.com/ai-crawl-control
- Posts tagged "Developers" — Cloudflare Bloghttps://blog.cloudflare.com/tag/developers
- Cloudflarehttps://weba.co.il/tools/cloudflare/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.