בודק robots.txt
בדוק אם קובץ robots.txt שלך בעל תחביר תקין והאם נתיב מסוים מותר עבור הבוט שנבחר.
מה עושה בודק Robots.txt?
בודק Robots.txt מוריד את קובץ robots.txt מהדומיין שלך ומנתח את הכללים שלו. הכלי מזהה הפניות בכתובת ובודק את הכללים בשרת הסופי. כך תוכל להימנע מטעויות כאשר הדומיין מפנה לגרסה בשפה אחרת.
ניתן לבחור User agent פופולרי, למשל Googlebot. לאחר מכן הכלי בודק אם כתובת URL שהוזנה היא מותרת או נחסמת. בתוצאות תוכל לראות את הכלל שהותאם ואת מספר השורה.
הכלי מבצע גם ולידציית תחביר של קובץ robots.txt. הוא מציג בעיות שהתגלו ומדגיש שורות שגויות. בנוסף מוצגת כל התוכן של קובץ robots.txt בשדה טקסט.
איך בודק Robots.txt מסייע למקצועני SEO ולבעלי אתרים?
כלל שגוי יחיד עלול לחסום סריקה ואינדוקס של עמודים מרכזיים באתר. לעיתים זה גורם לירידה בראות ולהפסד בתנועה אורגנית. באמצעות בדיקת נתיב בודד תוכל לזהות סיכון במהירות לפני יישום שינויים.
בפועל, אתה חוסך זמן באודיט. במקום לנתח ידנית את הכללים, מקבלים החלטה ברורה ושיוך. כך תהליך הבדיקה מתקצר מדקות לשניות ומפחית שגיאות.
- בדיקת זמינות הכתובת לרובוט מנוע חיפוש.
- תצוגה של הכלל האחראי ומספר השורה ב־robots.txt.
- הערכת נכונות התחביר וזיהוי בעיות מיידי.
- קריאה בטוחה של robots.txt גם לאחר הפניות לדומיין הסופי.
- בדיקת סטטוס HTTP של כתובות sitemap שמוגדרות ב־robots.txt.
שימושים נפוצים לכלי Robots.txt Tester
- בדיקת חסימה של דפים חדשים בעזרת Disallow.
- בדיקת כללים לאחר העברת דומיין או הטמעת CDN.
- בדיקת גישה עבור בוטים שונים, כולל Googlebot ו־Bingbot.
- איתור בעיות עם תקציב סריקה (crawl budget) ועדיפים לא צפויים של דפים.
- בדיקת robots.txt לוודא שאינו מחזיר HTML במקום קובץ טקסט.
- ולידציה מהירה של הוראות Sitemap והסטטוסים שלהן ב־HTTP.
השוואת Robots.txt Tester לכלים אחרים
| פונקציונליות | DiagnoSEO | כלים אחרים |
|---|---|---|
| הורדה אוטומטית של robots.txt מהדומיין | ✅ | ✅ |
| בדיקת כללים עבור User agent שנבחר | ✅ | ✅ |
| החלטת Allowed או Disallowed עבור נתיב מסוים | ✅ | ✅ |
| הצגת הכלל התואם ומספר השורה | ✅ | ❌ |
| הדגשת שגיאות תחביר בתוכן robots.txt | ✅ | ❌ |
| תמיכה בהפניות והורדת robots.txt מהדומיין הסופי | ✅ | ❌ |
| בדיקת סטטוס HTTP לכתובות sitemap מקובץ robots.txt | ✅ | ❌ |
| הצגת מלוא תוכן robots.txt בשדה טקסטואלי | ✅ | ✅ |
המלצות וטיפים
- בדוק כתובות URL של קטגוריות, פילטרים ודפדוף לפני פרסום שינויים.
- השתמש בכלל Allow מדויק במקרים של חסימת דפוסים רחבים ב־Disallow.
- וודא עקביות בין robots.txt לאסטרטגיית האינדוקס של האתר.
- לאחר ההטמעה, בדוק סטטוס HTTP של robots.txt ושל sitemap במערכת.
- הימנע מחסימת משאבים חיוניים לרינדור עמודים בטעות.
טעויות נפוצות
- אין קובץ robots.txt.
- חסימת אזורים חשובים בשל Disallow כללי מדי.
- תחביר שגוי בהוראות וחוסר נקודתיים.
- כללים לפני User agent – מפריע לפירוש קבוצות.
- הפניה לא מודעת של robots.txt ל־HTML או לעמוד הבית.
- סעיפים מיושנים של Sitemap או קודי תגובה בלתי נכונים מהשרת.
איך להשתמש ב־Robots.txt Tester
- הדבק את כתובת ה־URL של הדף שברצונך לבדוק.
- בחר User agent מהרשימה, למשל Googlebot.
- הפעל בדיקה וסקור את מצב Allowed או Disallowed.
- עיין בכלל שהותאם ובמספר השורה ב־robots.txt.
- בדוק את הודעות ולידציית התחביר והשגיאות המודגשות.
- למטה תוכל לבדוק את סטטוסי ה־HTTP של כתובות sitemap XML מתוך robots.txt.
מקרי בוחן (Case study)
חנות אינטרנטית שמה לב לירידה במספר הדפים באינדקס. לאחר בדיקות התברר כי כלל Disallow חסם נתיב קטגוריה חדש. הכלי הצביע על ההתאמה ומספר השורה ב־robots.txt. לאחר תיקון הכלל והפעלה חוזרת של הבדיקה, הכתובות חזרו להיסרק כראוי.
בנוסף, טבלת הסטטוסים של sitemap הצביעה על בעיה עם מפת אתר אחת. השרת החזיר שגיאה ולכן בוטים לא יכלו למשוך אותה. לאחר תיקון קובץ sitemap המעבר למעקב הפך לפשוט יותר.
שאלות נפוצות
-
Allowed – הכללים ב־robots.txt לא חוסמים את הנתיב עבור הבוט שנבחר. Disallowed – הנתיב חסום על פי הכללים.
-
כן. הכלי מזהה את הדומיין הסופי ומוריד את robots.txt מהשרת היעד.
-
הכלי מחפש את ההתאמה הטובה ביותר. הכלל הארוך ביותר שמתאים הוא המנצח. במקרה של תיקו, Allow מנצח.
-
שגיאות יופיעו כשיש הוראות במבנה שגוי או מוקדם מדי יחסית ל־User agent. ההדגשה מסייעת לתקן במהירות.
-
Robots.txt כולל לעיתים קרובות הוראות Sitemap. הטבלה בודקת אם השרת מחזיר סטטוס HTTP תקין לכתובות המדוברות.