עבודה קשה ב־SEO נמחקת לפעמים בגלל כפתור אחד לא נכון. חברות הטכנולוגיה הגדולות הציבו עד עכשיו אולטימטום פשוט: תנו לנו לסרוק את האתר כדי לאמן מודלים, או שלא תופיעו בתוצאות החיפוש. אתמול, 15 בספטמבר 2026, Cloudflare החליטה לשבור את המשוואה הזאת עם הגדרה בשם Disallow AI Training. על פניו מדובר בבשורה גדולה למי שרוצה תנועה אורגנית בלי לתרום תוכן בחינם, אבל מי שלא ישים לב לשינוי הטכני עלול למצוא את עצמו מחוץ לגוגל לחלוטין. אם חשבתם שחסימת בוטים היא עניין של מתג בודד, תחשבו שוב.
סוף למלכוד של מנועי החיפוש
הבעיה המרכזית שבעלי אתרים התמודדו איתה נובעת מקיומם של סורקים היברידיים. Googlebot או Bingbot מבצעים במקביל שתי פעולות שונות: אינדוקס דפים למנוע החיפוש ואיסוף מידע לאימון מודלי בינה מלאכותית. פחות מ־1% מהאתרים ברשת של Cloudflare בוחרים לחסום סורקי חיפוש, אבל 17% מהם רוצים לחסום אימון AI. עד כה, חסימה ברמת כתובת ה־IP או ה־WAF של הסורקים האלה דרסה מיד את הופעת האתר בתוצאות החיפוש הרגילות.
הפתרון החדש של Cloudflare מציג סיווג מיוחד בשם Accountable עבור חברות שמפעילות סורקים מעורבים. כדי להיכלל בסיווג הן עומדות, או התחייבו לעמוד, בארבע דרישות של שקיפות ושליטה: מנגנון יציאה מאימון, אפשרות לביטול הופעה בסיכומי AI, נראות ברמת כתובת ה־URL והבטחה שתוצאות החיפוש הרגילות לא ייפגעו. המנגנון מעדכן דינמית את קובץ ה־robots.txt באמצעות Bot Preference Sync, בלי להשליך את הסורק מהרשת. כשאתם בוחרים באפשרות Disallow AI Training, הקובץ מודיע לסורקים ההיברידיים לא לאמן מודלים, בזמן שהתנועה מורשית להמשיך לזרום לחיפוש. סורקים ייעודיים לאימון בלבד, כמו אלה של Anthropic או Meta, נחסמים לחלוטין ברמת הפיירוול.
סורקים משולבים היו החלק הקשה בשאלת האימון. סיכומי AI הם השלב הבא. בחירה של כן או לא ברמת כל האתר היא גסה מדי.ההודעה הרשמית של Cloudflare
טעות אחת ואתם מחוץ לגוגל
הסכנה הגדולה נמצאת בשינוי ההגדרה של כפתור ה־Block הישן. בעבר, הגדרת Block לסורקי אימון פסחה על סורקים היברידיים כדי להגן עליכם מפגיעה אורגנית. מעכשיו, בחירה ב־Block תחת קטגוריית Training או Search חוסמת את Googlebot ו־Bingbot באופן מוחלט בפיירוול, בלי קשר להנחיות כתובות. מי שיבחר היום בלוח הבקרה באפשרות Block רגילה יחסום פיזית את Googlebot ברמת הרשת וימחק את האתר שלו מתוצאות החיפוש. זה הבדל תהומי בין חסימת WAF קשיחה לבין בקשת Disallow מנומסת.
אם יש לכם אתר קיים שבו הפעלתם בעבר חסימת בוטים כללית, Cloudflare העבירה אתכם אוטומטית להגדרה החדשה Disallow AI Training כדי למנוע אסון SEO. אתרים שלא נגעו בהגדרות מעולם נשארו במצב Allow מלא. המלכוד מופיע בעיקר בהקמת דומיינים חדשים או בשינויים יזומים: אם תרצו להקשיח מדיניות ותבחרו ידנית ב־Block מתוך הרגל, תזרקו את תנועת האתר לפח.
| הגדרה בקלאודפלייר | מנגנון אכיפה | הופעה בתוצאות חיפוש | שימוש לאימון AI |
|---|---|---|---|
| Allow | אין חסימה | פעיל ונסרק כרגיל | מורשה לכל המודלים |
| Disallow AI Training | הוראת robots.txt + חסימת WAF לסורקי אימון ייעודיים | פעיל ונסרק כרגיל | אסור (מכובד על ידי סורקים מורשים) |
| Block on pages with ads | חסימת WAF רק בעמודים עם מודעות | נחסם בעמודי פרסומות | נחסם בעמודי פרסומות |
| Block | חסימת WAF גורפת ברמת הרשת | נמחק לחלוטין מתוצאות החיפוש | חסום לחלוטין |
מי מכבד ומה עדיין פתוח
המעמד החדש שנקרא Accountable נשען על הצהרות של ספקיות הענק. Apple, Google ו־Microsoft עומדות בקריטריונים לפי Cloudflare, ומבטיחות שאיסור אימון לא פוגע בדירוג. Google מאפשרת לנהל זאת מול בוט Google-Extended, מספקת דיווח ומדדים, ומפתחת כלים נוספים לרמת ה־URL. לעומתה, Apple מאפשרת חסימה דרך Applebot-Extended, אך עדיין אינה מספקת כלי בדיקה ברמת ה־URL והפתרון שלה נמצא בפיתוח. לפי החברות עצמן, הנתונים לא ישמשו לאימון מודלים אם תבחרו בכך.
לא הייתי ממהר לסמוך על ההבטחות האלה בעיניים עצומות.
אצל Microsoft התמונה עדיין מקרטעת.
Bingbot אינו יודע לקרוא את הוראת ה־Disallow הזו ישירות מקובץ robots.txt ברמת הדומיין. מיקרוסופט מתכננת לתמוך בכך רק בתחילת 2027, ובינתיים מאפשרת להגדיר זאת באמצעות תגית מטא ייעודית בשם NOARCHIVE או דרך כלי חסימת הכתובות בפורטל שלה. בנוסף, חסימת אימון אינה מונעת מ־Google להציג תקצירים מבוססי AI (כמו AI Overviews) מתוך התוכן שלכם. את המנגנון לשליטה על שימוש בסיכומי AI הבטיחה Cloudflare להשיק רק בתחילת השנה הבאה.
מה לבדוק עכשיו בהגדרות
עבור אתרים ומוציאים לאור הפועלים בישראל, ההגדרות הללו מיושמות ישירות בשרתי Cloudflare בתל אביב ובחיפה. בדיקה מהירה בלוח הבקרה תחסוך לכם הפתעות בביצועים ב־Google.co.il. ודאו שתכונת Bot Preference Sync פועלת, ושתחת קטגוריית Training מוגדר Disallow AI Training ולא Block.
זה דורש בדיקה מיידית.
אם האתר מבוסס על עמודי תוכן מקומיים או חנות וירטואלית, כל נפילה של סריקת גוגל תשפיע עליכם בתוך שעות. הכוח חזר במידת מה לבעלי האתרים, אבל האחריות נשארה אצלכם. מי שסומך על הגדרות ברירת מחדל בלי להציץ בפרטים הקטנים, בדרך כלל משלם על זה בתנועה.
מקורות
- Have it both ways: stay discoverable in search while disallowing AI traininghttps://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/
- Say it once: introducing Bot Preference Sync | Cloudflare Bloghttps://blog.cloudflare.com/bot-preference-sync
- Posts tagged "Developers" — Cloudflare Bloghttps://blog.cloudflare.com/tag/developers
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.