אם באתר שלכם יש 500 עמודים או פחות שמקושרים היטב, גוגל יכול לגלות את כולם לבד בלי מפת אתר כלל. מנגד, שגיאה של שורה אחת בקובץ robots.txt יכולה לחסום את גוגל מלסרוק דפים שלמים. שני הקבצים האלה יושבים בשרת שלכם ומנחים מנועי חיפוש איך לגשת לתוכן. לכל אחד מהם יש תפקיד שונה לחלוטין. מפת אתר מציגה לגוגל את הדפים שחשוב לכם להציג בתוצאות, בעוד ש-robots.txt מנהל את תנועת הסריקה כדי למנוע עומס על השרת.
מפת אתר היא קובץ שבו אתם מספקים מידע על הדפים, קובצי הווידאו והמדיה באתר, ועל הקשרים שביניהם. גוגל קורא את הקובץ כדי לייעל את פעולת הסריקה. המפה מאפשרת לציין מתי כל עמוד עודכן לאחרונה ואילו גרסאות שפה מקומיות קיימות עבורו. היא לא מבטיחה שכל הכתובות המופיעות בה ייסרקו או ייכנסו לאינדקס בפועל. היא משמשת רק בגדר המלצה למנוע החיפוש.
המפה חיונית במיוחד לאתרים חדשים לגמרי שעדיין אין אליהם קישורים מאתרים אחרים ברשת. גוגל מגלה עמודים חדשים דרך קישורים בעמודים שנסרקו בעבר. היא נחוצה גם לאתרים גדולים שבהם קשה לוודא שכל עמוד מקושר לעמוד אחר, או לאתרים עם קובצי מדיה עשירים ותוכן חדשותי. במפת וידאו תוכלו לציין את משך הריצה של הסרטון, הדירוג והתאמת הגיל. במפת תמונות תוכלו לציין את מיקום התמונות בעמוד, ובמפת חדשות את כותרת הכתבה ותאריך הפרסום שלה.
לא כל אתר חייב מפה.
פורמטים ומגבלות נפח במפות
גוגל תומך במספר פורמטים של מפות אתר, ואין לו העדפה לאף אחד מהם. הפורמט הנפוץ ביותר הוא XML, שהוא הפורמט הגמיש מכולם. הוא תומך בהרחבות עבור תמונות, וידאו, חדשות וגרסאות שפה שונות. אם מערכת ניהול התוכן שלכם מייצרת פיד RSS 2.0 או Atom 1.0, גוגל מקבל גם אותו. פיד כזה מכיל בדרך כלל רק כתובות אחרונות, ובנוסף לטקסט רגיל הוא מוגבל למידע על וידאו באמצעות mRSS בלבד.
האפשרות הפשוטה ביותר היא קובץ טקסט בסיומת txt שבו אתם רושמים כתובת אחת בכל שורה. קובץ כזה מוגבל לכתובות של עמודי אינטרנט וטקסט בלבד, ללא שום נתוני מדיה. בכל הפורמטים חלה מגבלת נפח של 50MB לקובץ בודד ללא דחיסה, או תקרה של 50,000 כתובות אינטרנט. אם האתר שלכם מכיל יותר עמודים, אתם חייבים לפצל את הנתונים למספר מפות ולהגיש קובץ אינדקס מפות אחד שמרכז אותן. אתם יכולים להגיש מספר מפות ומספר קובצי אינדקס לגוגל.
כל קובץ מפה חייב להישמר בקידוד UTF-8. הכתובות הרשומות בו חייבות להיות מלאות ומוחלטות, כולל קידומת הפרוטוקול, ולא נתיבים יחסיים. כל הערכים בתגיות XML חייבים לעבור entity escaping לפי הפרוטוקול. גוגל מתעלם לחלוטין מתגיות priority ומתגיות changefreq. בערך של תגית lastmod גוגל משתמש רק אם הוא מדויק וניתן לאימות מול תאריך השינוי בפועל.
הכתובות במפה צריכות להיות קנוניות בלבד.
| פורמט מפה | סוגי תוכן נתמכים | יתרונות | מגבלות עיקריות |
|---|---|---|---|
| XML | עמודים, וידאו, תמונות, חדשות, שפות | גמיש ומכיל נתונים מורחבים | מורכב לתחזוקה באתר גדול |
| RSS 2.0 ו-Atom 1.0 | עמודים, טקסט, וידאו ב-mRSS | נוצר אוטומטית ברוב המערכות | מכיל רק כתובות אחרונות |
| Text sitemap | עמודי אינטרנט וטקסט בלבד | פשוט מאוד ליצירה ולתחזוקה | מוגבל לטקסט ללא קובצי מדיה |
תפקידו של קובץ robots.txt
קובץ robots.txt יושב בתיקיית השורש של האתר ומגדיר לסורקים לאילו כתובות מותר להם לגשת. המטרה המרכזית שלו היא ניהול עומס בקשות על השרת שלכם כדי למנוע קריסה מסריקות מרובות. הקובץ הזה אינו כלי למניעת הופעה של עמוד בתוצאות החיפוש של גוגל. רבים טועים לחשוב שחסימה שלו מוחקת את העמוד מהאינדקס של מנוע החיפוש.
כשאתם חוסמים עמוד ב-robots.txt, גוגל לא יסרוק את התוכן שלו, אך הכתובת עדיין יכולה להופיע בתוצאות החיפוש אם עמודים אחרים ברשת מקשרים אליה. במצב כזה תוצאת החיפוש תופיע בלי תיאור טקסטואלי, ורק עם כתובת האתר וטקסט עוגן שמנוע החיפוש איתר. קובצי מדיה כמו תמונות, קובצי קול או מסמכי PDF שמוטמעים בעמוד החסום לא ייסרקו, אלא אם יש אליהם קישור ישיר מעמוד מותר אחר.
הקובץ מאפשר לחסום גם קובצי משאבים כמו סקריפטים או קובצי עיצוב, בתנאי שהעמוד נטען באופן ברור ומובן לסורק גם בלעדיהם. אם חסימת המשאבים מקשה על גוגל לפענח את הדף, החסימה פוגעת בניתוח העמוד. חשוב לדעת שלא כל הבוטים ברשת מצייתים לכללי robots.txt, וחלקם עשויים לפרש את התחביר בדרכים שונות. אם המידע רגיש, כדאי לכם להשתמש בהגנת סיסמה ישירות בשרת.
חסימה אינה מחיקה.
יצירת המפות והגשתן לרשת
מערכות ניהול תוכן כמו WordPress, Wix או Blogger מייצרות מפת אתר באופן אוטומטי. באתרים קטנים של עשרות עמודים בודדים אפשר ליצור מפה ידנית באמצעות עורך טקסט כמו Windows Notepad או Nano. באתרים עם יותר מכמה עשרות כתובות, הדרך הטובה ביותר היא לחלץ את הכתובות ישירות ממסד הנתונים של האתר שלכם ולייצא אותן לקובץ בשרת. סדר הכתובות בתוך המפה אינו משנה לגוגל כלל.
הגשת מפת אתר לגוגל
- הפקת קובץ מפה בשרת
- שמירת הקובץ בתיקיית השורש
- הוספת נתיב המפה ב-robots.txt
- הגשה בדוח מפות ב-Search Console
כדי להנגיש את המפה לגוגל, מוסיפים שורה בתוך קובץ robots.txt שמכילה את המילה Sitemap ואחריה הכתובת המלאה. אפשר להוסיף מספר בלתי מוגבל של שורות כאלה עבור כל המפות שלכם. בנוסף, מומלץ להגיש את המפה בדוח המפות בתוך Search Console כדי לראות מתי גוגל ניגש לקובץ וכדי לאתר שגיאות עיבוד בזמן אמת, או להשתמש ב-Search Console API. אם אתם משתמשים בפיד RSS או Atom, אפשר להשתמש בפרוטוקול WebSub כדי לשדר עדכונים לגוגל.
אם בבעלותכם מספר אתרים מאומתים, תוכלו לרכז כתובות מדומיינים שונים בתוך מפה אחת שנשמרת בשרת בודד, או לשמור מפות נפרדות לכל אתר במיקום אחד. אם לא מגישים את המפה דרך Search Console, מפה שנשמרת בתיקייה מסוימת משפיעה רק על התיקיות שמתחתיה, ולכן מומלץ להציב אותה תמיד בתיקיית השורש של הדומיין.
מקורות
- developers.google.comhttps://developers.google.com/search/docs/crawling-indexing/sitemaps/overview
- developers.google.comhttps://developers.google.com/search/docs/crawling-indexing/robots/intro
- developers.google.comhttps://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
המדריך נכתב מהמקורות שלמעלה בתאריך הפרסום. מחירים ותנאים משתנים; לפני החלטה כספית בודקים מול המקור. מצאתם טעות? כתבו.