WEBA

גוגל מצטרפת לחסימת AI אחידה אבל אל תמחקו שום בוט עד 2027

התקן המשותף של IETF יאפשר לחסום אימון מודלים בשורה אחת, אבל היישום מתוכנן רק לשנה הבאה ובינתיים ההגנה נשענת על החסימות הישנות.

554 מילים25 עובדות אומתו

ניהול של קובץ robots.txt הפך לסוג של משרה חלקית. פעם הספיקו שתי שורות כדי לחסום תיקיית ניהול, והיום מנהלי אתרים מדביקים עשרות שמות משונים כדי למנוע מכל מודל רעב לשאוב להם את הדאטה. אתמול, ב־30 באוקטובר 2026, Google פרסמה הודעה רשמית על כוונתה לאמץ תקן אחיד לחסימת אימון AI. אם כבר פתחתם את שרת ה־FTP כדי לנקות את הקובץ, תעצרו מיד.

התקן המשותף אמנם יאפשר חסימה גורפת בשורה אחת, אך הוא ייכנס לתוקף רק במהלך 2027 ועד אז מחיקת הבוטים הישנים פשוט תפתח את האתר לסריקה.

אל תמחקו כלום.

שורה אחת במקום עשרות בוטים

המנגנון שגוגל מתכננת לאמץ נשען על טיוטת אינטרנט של קבוצת העבודה IETF AIPREF. הרעיון פשוט: במקום להגדיר בנפרד את Google-Extended, את GPTBot או סורקים של חברות אחרות, מנהלי אתרים יוכלו להגדיר טוקן מדיניות משותף בתוך קובץ robots.txt. שורת חסימה בודדת מול הטוקן הזה תסמן לכל החברות המשתתפות שהאתר אינו מוכן שחומריו ישמשו לאימון מודלים. לפי ההודעה, המהלך מתיישב עם קוד ההתנהגות האירופי למודלי AI כלליים תחת חוק ה־AI של האיחוד, שמכיר בקובץ ההגדרות ככלי מרכזי להבעת העדפות בעלי אתרים.

לפי ג'ון מולר מ־Google, המטרה היא לפשט תהליכים מול שוק מבוזר. במקום שכל חברה תמציא לעצמה שם סורק חדש בכל רבעון, התקן המשותף יאפשר בחירה רחבה בצעד אחד.

כאשר אתר ישתמש בטוקן המדיניות הזה כדי לבחור שלא להשתתף באימון בקובץ ה־robots.txt שלו (ולא צוין במפורש Google-Extended), גוגל מתכננת לפרש זאת כאילו המוציא לאור חסם את Google-Extended.ג'ון מולר, Google Search Central

ההגנה נכנסת לתוקף רק ב־2027

כאן המוקש שרבים מפספסים בדיווחים ברשת, כמו אלה שעלו ב־Search Engine Roundtable. בדוקומנטציה של גוגל כתוב במפורש: "אנו שואפים לתמוך בבקרה החדשה הזו יחד עם ספקי AI אחרים בשנת 2027". אין כרגע שום מנגנון פעיל בשרתים של גוגל שקורא את הטוקן המשותף. אם תמחקו היום את השורות שמכוונות לבוטים הספציפיים, האתר שלכם יהיה חשוף לסריקות אימון כבר ממחר בבוקר.

לא הייתי ממהר לסמוך על נימוסים של חברות מסחריות כשאף אחד לא מחייב אותן בחוק.

טיוטת IETF אינה חוק בינלאומי ואינה תקן טכנולוגי מחייב, אלא הסכמה וולונטרית בלבד. חברות כמו מיקרוסופט הציגו כוונות דומות בדפי ההסבר של Bing, אך אין שום מנגנון אימות טכני שיכול לאכוף על שחקן זדוני לציית להנחיה. בנוסף, ההגדרה אינה פועלת לאחור. חומרים שכבר נסרקו ושימשו לבניית משקולות במודלים קיימים יישארו שם לתמיד, שכן robots.txt משפיע אך ורק על סריקות עתידיות.

מה קורה עם תוצאות החיפוש

החשש הגדול של כל בעל אתר תוכן, ובוודאי של אתרי חדשות בישראל שנשענים על תנועה אורגנית, הוא פגיעה במיקומים. כאן גוגל מקפידה להרגיע: חסימת אימון AI אינה משפיעה על סריקה לצורכי אינדוקס רגיל בחיפוש. מנוע החיפוש הרגיל של Google ממשיך לעבוד כרגיל, והדירוג של הדפים בתוצאות החיפוש אינו קשור לשאלה אם מנעתם אימון מודלים.

עם זאת, יש הבדל בין תוצאות חיפוש רגילות לבין תשובות מבוססות ביסוס. גוגל מציינת במפורש שאתרים שמתירים גישה ל־Google-Extended זכאים להופיע בתשובות של אפליקציות Gemini ולקבל הפניות מתוכן. מי שחוסם באופן גורף מונע שימוש בתוכן שלו ללמידה, אבל מוותר על חשיפה בתשובות שבהן המודל מאחזר מידע בזמן אמת ומקשר למקורות. עבור אתרים מקומיים בעברית, שבהם היקף התוכן ממילא קטן יותר, מדובר בהחלטה עסקית ולא רק טכנולוגית.

השוואת מנגנוני חסימת סריקה ב-robots.txt והשפעתם על המערכות השונות
מנגנון חסימהמצב תמיכה כיוםחוסם אימון AIפוגע באינדוקס בחיפוש
טוקן משותף IETF AIPREFהצהרת כוונות (יעד לתמיכה ב־2027)לא פעיל עדייןלא
Google-Extended פרטניפעיל ונתמך מלאכן (במערכות גוגל)לא
חסימת בוטים ספציפיים (GPTBot וכדומה)פעיל ונתמך מלאכן (אצל החברות המצייתות)לא

איך לעדכן את הקובץ שלכם

המסקנה המעשית פשוטה: אל תיגעו בחסימות הקיימות. אם הגדרתם פקודות Disallow מפורשות עבור הבוטים השונים, השאירו אותן בדיוק כפי שהן. גוגל אף הדגישה כי הוראות ספציפיות לסורק מסוים ימשיכו לקבל עדיפות על פני הטוקן המשותף, כך ששום דבר ממה שהגדרתם בעבר לא מתנגש עם התקן העתידי.

מי שרוצה להקדים תרופה למכה יכול כבר עכשיו להוסיף את טוקן המדיניות החדש של IETF לקובץ ה־robots.txt שלו כהכנה, לצד ההגדרות הישנות ולא במקומן. זה לא יזיק, אבל כל עוד שנת 2027 לא הגיעה, ההגנה על התוכן תמשיך להישען על אותה רשימה ארוכה של שמות בוטים. שורת חסימה בודדת היא חלום יפה, אבל בינתיים הוא שמור לדוקומנטציה בלבד.

מה לעשות עכשיוהשאירו את כל חסימות הבוטים הספציפיות ב-robots.txt על כנן, והוסיפו את הטוקן החדש כהכנה בלבד עד לכניסתו לפועל ב-2027.

מקורות

הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.

מה שואלים על זה

האם השימוש בטוקן החדש יפגע בדירוג האתר שלי בתוצאות החיפוש הרגילות של גוגל?

לא. גוגל מבהירה כי חסימת אימון AI מופרדת לחלוטין מסריקה לצורכי אינדוקס בחיפוש, והגדרות אלו אינן משפיעות על מיקומי האתר בתוצאות האורגניות.

האם התקן החדש יכול למחוק מידע שכבר נסרק ושימש לאימון מודלים בעבר?

לא. קובץ robots.txt מגדיר הרשאות לסריקות עתידיות בלבד ואינו חל רטרואקטיבית על נתונים שכבר הוטמעו במשקולות המודלים.

אם אני חוסם את גוגל מאימון, האם האתר שלי עדיין יופיע בתשובות עם הפניות ב-Gemini?

לפי גוגל, אתרים שמתירים את Google-Extended זכאים להופיע בתשובות מבוססות ביסוס ולקבל קישורים באפליקציות Gemini, בעוד שחסימה עלולה להגביל הופעה כזו.