בוטים של AI סורקים את הרשת בלי לבקש רשות, ואת החשבון על התעבורה והמשאבים משלם מי שמארח את האתר. אתמול, ב-27 באוקטובר 2026, השיקה חברת Vercel לשונית ייעודית בשם AI Traffic, כפי שפורסם בהודעת העדכון הרשמית. הרכיב פועל כחלק מתוך Vercel Observability, מפרק את התנועה שמגיעה ממודלי שפה לחמישה נתונים שונים, ומאפשר לראות אילו עמודים נסרקים ומי עומד מאחורי הבקשות. ההבטחה נשמעת מצוין, עד שמבינים שאין שם שום כפתור שיכול לעצור אותם.
חלון הצצה בלי מתג כיבוי
הפיצ'ר החדש זמין כעת תחת לוח הבקרה בנתיב Observability > AI Traffic בכל סוגי החשבונות. המערכת מציגה נפח פניות לפי בוטים מאומתים, עמודים מובילים בסריקה, שליפות מידע חי עבור סוכנים, בקשות לקבלת תוכן בפורמט Markdown ושגיאות שרת שנוצרו בעקבות סריקות. אם בניתם אתר תוכן או אפליקציית Next.js ואתם רואים קפיצות מוזרות בעומס, אפשר לראות את המספרים בעיניים. הדשבורד מציג בדיוק מי שואב מכם דאטה, אבל הוא מתפקד כחלון ראווה ולא כחומת מגן.
בדוקומנטציה של AI traffic documentation מפורט אילו מדדים נאספים, אך אין בה זכר למנגנון חסימה בלחיצת כפתור מתוך המסך עצמו. הדשבורד יודע לספור את התעבורה ולחלק אותה לקטגוריות, אך כדי לבלום את הבוטים תצטרכו להגדיר חוקי WAF נפרדים או להשתמש בהגנות של שירותים כמו Cloudflare. יתרה מזאת, Vercel לא פירטה כיצד מתבצע האימות הטכני של בוט מוגדר, האם הוא נשען על פיענוח מחרוזת User-Agent בלבד או על בדיקות reverse DNS קפדניות.
לא הייתי ממהר להתרגש מלוח בקרה שרק מביט מהצד בלי לתת שיניים.
אימון מודלים מול שליפה חיה
ההפרדה השימושית ביותר במערכת החדשה מבדילה בין שני סוגי סריקות: בוטים שקוצרים תוכן לצורך אימון מודלים ואינדוקס, מול סוכנים ששולפים עמוד בזמן אמת כדי לענות לשאילתה של משתמש. ההבדל הזה קריטי להבנת הערך של האתר שלכם ברשת. בנוסף, המערכת מנטרת פניות שמבקשות לקבל תוכן בפורמט Markdown ישירות. בוטים רבים מעדיפים טקסט נקי מתגיות HTML כדי לצמצם שימוש בטוקנים, וכעת אפשר לראות בדיוק אילו דפים נדרשים בפורמט הזה.
You can now query AI traffic in Vercel Observability to understand how AI bots are accessing your site.הודעת העדכון הרשמית של Vercel
מעקב מעניין נוסף מוקדש לבקשות שנכשלו. בוטים של AI מנסים לעיתים לגשת לנתיבי API פנימיים או מייצרים עומס שמוביל לשגיאות שרת. הממשק מרכז את הדפים שבהם הבוטים נתקלו בשגיאות, ומאפשר לאתר נתיבים שזוללים משאבים מיותרים.
האוטומציה עולה כסף
לצד הדשבורד בדפדפן, Vercel עדכנה את כלי הטרמינל שלה, Vercel CLI, כדי לאפשר תשאול של הנתונים באמצעות הפקודה vercel metrics. הרעיון הוא לאפשר למפתחים ולסוכני קוד אוטונומיים למשוך את המדדים בצורה ישירה ולנתח מגמות באופן מתוכנת. פקודה כמו vc metrics vercel.ai_traffic.count מאפשרת לחתוך את הנתונים לפי שם הבוט ישירות משורת הפקודה.
אבל כאן מגיע המלכוד העסקי. לפי עמוד הדוקומנטציה של vercel metrics, שאילתות מדדים דרך ה-CLI אינן זמינות בתוכנית החינמית. התכונה הזאת נעולה ודורשת מנוי Observability Plus, שפתוח רק לצוותים במסלולי Pro ו-Enterprise. מפתחים בתוכנית Hobby יכולים לראות את הגרפים בדפדפן, אך כל ניסיון לאוטומציה מבוססת סוכנים או משיכת מדדים לטרמינל ידרוש שדרוג בתשלום נוסף.
| יכולת | דשבורד חינמי (כל התוכניות) | Observability Plus (בתשלום) |
|---|---|---|
| צפייה בגרפים של בוטים מאומתים | זמין | זמין |
| פילוח שליפות חיות ובקשות Markdown | זמין | זמין |
| זיהוי עמודים שנכשלו בשגיאות | זמין | זמין |
| שאילתות ב-CLI עם פקודת vercel metrics | לא זמין | זמין |
| אינטגרציה ישירה לסוכני קוד דרך הטרמינל | לא זמין | זמין |
| היסטוריית נתונים מורחבת (retention) | בסיסית בלבד | מורחבת |
לראות ב-Vercel, לחסום במקום אחר
הצעד הראשון למי שמנהל פרויקט ב-Vercel הוא לגשת ללשונית Observability, לבחור ב-AI Traffic ולבדוק את היקף התנועה. אם גיליתם שבוטים שואבים מכם עמודים רגישים או מעמיסים על הפונקציות, אל תחפשו שם את כפתור החסימה כי הוא פשוט לא קיים. הפתרון הישיר נשאר ברמת הקוד, בהגדרת כללים ב-robots.txt, או בהקמת חוקי תעבורה ידניים ברמת ה-WAF והפרוקסי שלכם. הדשבורד נותן שקיפות מצוינת, אבל הוא לא יעשה בשבילכם את עבודת השיטור.
לפחות עכשיו תדעו בדיוק מי מאמן עליכם את המודל הבא שלו.
מקורות
- AI traffic insights now available in Vercel Observabilityhttps://vercel.com/changelog/ai-traffic-insights-now-available-in-vercel-observability
- Observabilityhttps://vercel.com/docs/observability
- vercel metricshttps://vercel.com/docs/cli/metrics
- Observability Insightshttps://vercel.com/docs/observability/insights
- **Observability > AI Traffic**https://vercel.com/d?to=%2F%5Bteam%5D%2F%5Bproject%5D%2Fobservability%2Fai-traffic
- Vercel CLIhttps://vercel.com/docs/cli/metrics#ai-traffic
- AI traffic documentationhttps://vercel.com/docs/observability/insights#ai-traffic
- Vercelhttps://weba.co.il/tools/vercel/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.