SEO Log File Analyzer

סורק אומר לכם מה יש באתר שלכם. יומני השרת אומרים מה Google באמת עושה איתו. ‏SEO Log File Analyzer קורא את יומני הגישה שלכם. הוא מראה אילו רובוטים מגיעים, באיזו תדירות ולאילו כתובות. הוא מראה גם כמה מתקציב הסריקה נעלם בשגיאות. נתחו את היומנים עכשיו: העלו קובץ או הדביקו כמה אלפי שורות, שום דבר אינו נשמר.

זהו מאגר הנתונים היחיד בקידום אתרים שאי אפשר לנחש. הדירוגים, החשיפות וסטטיסטיקת הסריקה מגיעים אליכם תמיד מיד שנייה. יומני הגישה הם הרישום הגולמי של כל בקשה שהשרת שלכם באמת ענה לה. כותבת אותם המכונה שלכם עצמה.

מה היומנים מראים

אחרי ההעלאה הכלי מפריד את תנועת הרובוטים האמיתיים מכל השאר. אחר כך הוא מפרק אותה למספרים שאפשר לעבוד איתם.

• אילו סורקים ביקרו. כל רובוט מוכר עם מספר הפניות, הכתובות הייחודיות והתפלגות קודי המצב שקיבל.
• באיזו תדירות הגיעו. תדירות סריקה לפי ימים, כך שירידה או קפיצה נראית במקום להיות מנוחשת.
• במה השקיעו זמן. הכתובות הנסרקות ביותר שלכם, ולעיתים רחוקות זו הרשימה שציפיתם לה.
• היכן הסריקה אובדת. הפניות, שגיאות 404, הגבלות קצב ושגיאות שרת, כל אחת כחלק מהבקשות, עם הכתובות הנוגעות בדבר.

לרובוטי הבינה המלאכותית יש תצוגה משלהם

‏GPTBot,‏ ClaudeBot ו-PerplexityBot מהווים כיום חלק ממשי מהתנועה האוטומטית. מלבד זאת הם מתנהגים אחרת לגמרי מ-Googlebot. הם מופיעים בנפרד, עם מספר הפניות ותאריך הביקור האחרון.

פעילות סורקי הבינה המלאכותית מראה אם סורקים מוכרים כאלה מוצאים ומורידים את התוכן שלכם. המפעיל לעיתים מתעד זאת. במקרה כזה כל סורק מסומן כסורק אימון, סורק חיפוש או הורדה לבקשת המשתמש. ביקור אינו מבטיח הכללה ואינו מבטיח ציטוט בתשובות של בינה מלאכותית.

יעילות הסריקה ולאן הסריקה הולכת

על יעילות הסריקה כדאי לדבר רק עם ראיות, והיומנים הם אותן ראיות. כל תשובה מסווגת לפי משמעותה. מוצלחת, ללא שינוי (‏304 אינו בזבוז), הפניות, ‏404 ו-410, הגבלת קצב, שגיאות שרת. כל מחלקה היא חלק מבקשות הסורק, יחד עם הכתובות.

באתר גדול ההפתעה מסתתרת בדרך כלל בדיוק כאן. פרמטרים בכתובות, תבניות של רשימות וארכיונים והפניות ישנות עשויים לבלוע חלק ניכר מהסריקה. הכלי מקבץ אותם לפי תבנית ומראה את החלק, מספר הבקשות ומספר הכתובות הייחודיות. הוא מסמן אותם כחוסר יעילות אפשרי, לא כבעיה מאומתת. השיפוט נשאר אצלכם.

השוואת היומנים מול סריקה

אם אתם משתמשים גם ב-DiagnoSEO Website Audit, בחרו פרויקט שכבר נסרק. המנתח יציב אז את שני מאגרי הנתונים זה לצד זה. מההשוואה יוצאות שתי רשימות ושתיהן מועילות.

כתובות שהסורק ביקש והסריקה לא גילתה הן כתובות יתומות אפשריות, לא יותר מכך. הכלי ממיין אותן לקטגוריות סבירות, למשל כתובות עם פרמטרים או הפניות ישנות, ואת המסקנה משאיר לכם. כתובות שהסריקה מצאה והסורק לא ביקש מדווחות כלא נראו בידי אותו סורק בתקופה זו. חלון יומן קצר אינו אומר דבר על כך שדף מוזנח.

היכולת הזו אינה חובה. בלי Website Audit מותקן תיבת הבחירה פשוט אינה מופיעה, וניתוח היומנים עובד בדיוק אותו דבר.

היכן למצוא את יומני הגישה

רוב לוחות הבקרה של האחסון מציעים אותם בשם בסגנון «raw access logs». בשרת שאתם מנהלים בעצמכם, ‏Apache כותב כברירת מחדל אל /var/log/apache2/access.log ו-Nginx אל /var/log/nginx/access.log.

התבנית חייבת להיות התבנית הרגילה combined, וזו בדיוק מה ששניהם כותבים מלכתחילה. ‏Cloudflare, רשת CDN או מאזן עומסים לפני שרת המקור משנים את מה שאותו שרת רואה. הורידו את היומנים מהשכבה שבאמת עונה לרובוט.

מה קורה לקובץ

העיבוד מתרחש בשרת, בזיכרון. היומן עצמו אינו נכתב לא לדיסק ולא למסד נתונים. אין פרויקט לשמור ואין היסטוריה. הדבר היחיד שנשמר הוא מטמון קצר מועד של תוצאות אימות כתובות IP. אין בו כתובות דפים, סימני לקוח או נתוני בקשות.

קבצים מעל 12 MB נחתכים ל-12 ה-MB הראשונים. באתר בגודל בינוני זו בדרך כלל תנועה של כמה ימים. אם ההעלאה נדחית מיד, מה שמגביל אתכם הוא post_max_size של השרת ולא הכלי.

‏Log File Analyzer מול כלים אחרים

ניתוח יומנים הוא בדרך כלל או תרגיל בגיליון אלקטרוני או מודול קבור בתוך פלטפורמה יקרה. כאן זה עמוד אחד שקורא קובץ ומחזיר לכם את הטבלאות. הסימון «תלוי בכלי» אומר שהיכולת קיימת בחלק מהכלים או בחבילות גבוהות יותר.

שאלות נפוצות

• איזו תבנית יומן מתקבלת?

  התבנית הרגילה combined ש-Apache ו-Nginx כותבים כברירת מחדל. בכל שורה דרושים כתובת IP, חותמת זמן, הבקשה, קוד מצב וסימון של הלקוח. שורות שאי אפשר לקרוא מדולגות ונספרות, כך שתראו אם הקובץ הובן.

• האם משהו נשמר?

  לא. העיבוד מתרחש בשרת בזיכרון, והתוצאה חוזרת לדפדפן שלכם. שום דבר אינו נכתב לדיסק או למסד נתונים, והיסטוריה אין מפני שהכלי אינו מחזיק מצב.

• כמה גדול יכול להיות הקובץ?

  עד 12 MB להרצה ועד 300,000 שורות. קבצים גדולים יותר נחתכים במקום להידחות. אם ההעלאה נכשלת עוד לפני הכלי, מה שצריך להעלות הוא post_max_size של השרת שלכם.

• איך אדע שהרובוטים אמיתיים?

  רובוטים מזוהים לפי סימון הלקוח, וכל אחד יכול לזייף אותו. קחו את המספרים כרמז חזק ולא כהוכחה. אם רובוט יחיד מציג היקף לא סביר, בדקו מדגם מכתובות ה-IP שלו בשאילתת DNS הפוכה לפני שתפעלו.

• למה אין ביומן שלי אף רובוט?

  בדרך כלל היומנים מגיעים מהשכבה הלא נכונה. אם לפני שרת המקור שלכם עומדים Cloudflare או רשת CDN, אותה שכבה עונה בעצמה לרוב הבקשות והמקור לעולם אינו רואה אותן. הורידו את היומנים מהקצה.

• האם אני צריך גם את Website Audit?

  לא. ניתוח היומנים שלם בפני עצמו. ‏Website Audit מוסיף רק את ההשוואה, שמציבה את היומנים מול סריקה ומונה כתובות יתומות אפשריות וכתובות שלא נראו בתקופת היומן. בלעדיו תיבת הבחירה נשארת מוסתרת.

• איזו חבילה נחוצה לי?

  ניתוח יומנים זמין מחבילת Pro ומעלה. פתחו את הכלי כדי לראות את מצב החשבון שלכם כרגע.

• כל כמה זמן כדאי להציץ כאן?

  באתר יציב פעם בחודש מספיקה. הציצו מוקדם יותר אחרי מעבר, עיצוב מחדש או ירידה פתאומית בתנועה, מפני שהיומן מראה את תגובת הסורק לפני שהדירוגים מספיקים לשקף אותה.

הדירוגים מספרים על התוצאה. היומנים מספרים על ההתנהגות שיצרה אותה. העלו קובץ יומן וראו מה הסורקים עשו.