רישיון נהיגה מעיד שעברתם מבחן, לא שלא תחצו באדום מחר בבוקר. במשך שנים, החותמת הירוקה של Verified Bot ברשת Cloudflare פעלה בדיוק כמו תעודת זהות עיוורת כזו: סורק הוכיח מי עומד מאחוריו, והפיירוול פינה לו את הדרך. עכשיו החגיגה הזו נגמרת. בהודעה שפורסמה ב־16 באוקטובר 2026, Cloudflare הציגה מנגנון אחריות מתמשך שמודד איך סורקים מאומתים מתנהגים בפועל, ומוריד להם את הציון כששרת המקור צועק הצילו.
תעודת זהות כבר לא מספיקה
כל מי שמנהל תשתית ווב ראה את זה קורה בלייב: שרתי המקור כורעים תחת עומס בקשות, הגדרות Rate Limit מופעלות, אבל סורק AI מאומת ממשיך לטחון את האתר בלי הפסקה, בחסות חוקי הפיירוול שסומכים על רשימת הבוטים המאושרים. המעבר מבדיקת זהות נקודתית לניטור התנהגות שוטף משנה את נקודת ההנחה. בוטים כבר לא מקבלים כרטיס חופשי חודשי רק כי נרשמו כראוי. ב־2025 החברה הסירה את הבוט של Perplexity מרשימת הבוטים המאומתים אחרי שניסה לעקוף חסימות באתרים שסירבו לסריקה, אירוע שהמחיש לקלאודפלייר שזהות לחוד והתנהגות לחוד.
זהות כבר לא מספיקה.
אמון נבנה לאורך זמן באמצעות התנהגות עקבית, ולא מונח מראש רק על בסיס זהות. לפי החברה, השאלה האם הבוט הוא מי שהוא טוען להיות קיבלה מענה טכנולוגי, אך השאלה האם אפשר לתת בו אמון נשארת פתוחה לכל אורך פעילותו ברשת.
שני האותות שקובעים את הציון
המערכת החדשה מתמקדת בשני מדדים קונקרטיים ברמת הבקשה הבודדת. האות הראשון הוא ציות ישיר לקובץ robots.txt בהתאם לתקן RFC 9309. המערכת בודקת האם תעבורת הסורק עולה בקנה אחד עם ההעדפות שבעלי האתר פרסמו. הפרות בודדות או תקלות רגעיות לא יגררו עונש מיידי, אך דפוס שיטתי של התעלמות מהנחיות יוביל לפגיעה במעמד הבוט. הכלל ברור: מה שלא הותר במפורש, אינו מותר אוטומטית.
תגובת 429 היא הנחיה למבקר להוריד את קצב הבקשות שלו, לעיתים בצירוף הנחיה כמה זמן להמתין לפני ניסיון נוסף. המערכת שלנו בוחנת האם תעבורת הבוט מסתגלת לאחר קבלת האות הזה.הבלוג הרשמי של Cloudflare
האות השני הוא תגובת הבוט לקוד שגיאה HTTP 429, המציין Too Many Requests. כששרת מקור מחזיר שגיאה כזו, הוא דורש מהסורק להאט או לעצור לחלוטין. קלאודפלייר בודקת האם הבוט אכן מוריד קצב, נכנס להשהיה, או ממשיך להפציץ את השרת באותו הקצב בדיוק. סורק שמגיב ומאט משפר את ציון האמון שלו, בעוד סורק שמתעלם ממשיך לאבד נקודות.
איך זה עובד מתחת למכסה
השכבה הראשונה מתחילה באימות טכני קשיח. לפי התיעוד של Web Bot Auth, בוטים נדרשים לחתום על בקשות HTTP באמצעות מפתח Ed25519 פרטי, ולהחזיק ספריית מפתחות ציבורית בנתיב ייעודי תחת דומיין מאומת. המפתחות והזהויות הללו מתועדים באינדקס פתוח בשם BotBase, המשמש לוח מחוונים לזיהוי ולסיווג בוטים לפי אופי פעילותם.
מעל מנגנון הזיהוי הזה יושב כעת מדד הציות החדש, שמתרגם את ההתנהגות המצטברת לטווח אמון דינמי. הטווח הזה מחובר ישירות אל מנגנון Bot Management ופיירוול האבטחה של Cloudflare. עבור מפתחים וארכיטקטים, המשמעות היא שניתן יהיה לחסום בוטים לא לפי השם שלהם, אלא לפי סף האמון המעשי שהם הרוויחו ברשת.
לא הייתי ממהר לבטל חוקי חסימה ידניים.
מה שקלאודפלייר משאירה בערפל
המהלך נכון, אבל יש כמה פרטים חשובים שהחברה השאירה ללא מענה. ראשית, אין שום מספר בדוקומנטציה: מהו אחוז שגיאות ה־429 שבוט יכול לצבור לפני שדירוגו יורד? כמה חריגות מ־robots.txt מוגדרות כתקלה בודדת וכמה כדפוס שיטתי? המספרים הללו נותרו חסויים לחלוטין.
שנית, שאלת הערעור. באגים קורים גם לסורקים לגיטימיים, ולא הוסבר מהו תהליך הבדיקה מחדש או תקופת החסד שמפעיל בוט מקבל לפני הסרה מוחלטת מהמאגר. בנוסף, בעוד הניטור מבוצע כרגע באופן פנימי על ידי קלאודפלייר ומיועד להתרחב בעתיד לכלל המשתמשים, לוח הבקרה המלא של BotBase עדיין מוגבל ללקוחות Enterprise בלבד.
| פרמטר | לפני השינוי | במערכת החדשה |
|---|---|---|
| קריטריון אישור | בדיקת זהות והצהרת כוונות בעת הסינון הראשוני | מדידה אוטומטית ורציפה של התנהגות בפועל לאורך זמן |
| מענה לשגיאות 429 | לא נמדד ברמת הרשת | חובת האטת קצב המשתקללת בציון האמון |
| אכיפת robots.txt | כלים לניהול חסימות לפי הצהרה מראש | ניטור שוטף ומדידה מתמשכת של חריגות ודפוסי התעלמות |
| סטטוס מאומת | קבוע, אלא אם הוסר ידנית במקרי קיצון | טווח אמון דינמי המתעדכן לפי התנהגות |
| זמינות לבעלי אתרים | רשימת Verified Bots קבועה בפיירוול | הגדרת ספי אמון מותאמים אישית (בשלבי השקה) |
מה כדאי להגדיר כבר עכשיו
אם אתם מנהלים שרתים מאחורי הפרוקסי, הצעד הראשון הוא להפעיל את Bot Preference Sync בלוח הבקרה, כדי לוודא שקובץ ה־robots.txt שלכם מסונכרן ישירות מול הגדרות הבוטים שלכם.
הצעד השני מתבצע בקוד שלכם: ודאו ששכבת ה־Rate Limit בשרת מחזירה קוד HTTP 429 מדויק עם כותרת Retry-After ברורה כשיש עומס. קלאודפלייר מקשיבה לאותות האלה עכשיו. בעתיד, לפי החברה, הציונים הללו יפורסמו גם באינדקס הציבורי של Cloudflare Radar כדי שניתן יהיה לראות מי מהסורקים עומד בכללים. בינתיים, הבוטים יצטרכו ללמוד לבלום.
מקורות
- Continuous accountability for Verified botshttps://blog.cloudflare.com/verified-bots-accountability/
- Web Bot Auth · Cloudflare bot solutions docshttps://developers.cloudflare.com/bots/reference/bot-verification/web-bot-auth
- BotBase · Cloudflare bot solutions docshttps://developers.cloudflare.com/bots/botbase
- Say it once: introducing Bot Preference Sync | Cloudflare Bloghttps://blog.cloudflare.com/bot-preference-sync
- Radarhttps://radar.cloudflare.com/bots/directory?cf_page=verified-bots-accountability%2F
- Cloudflarehttps://weba.co.il/tools/cloudflare/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.