SEO Log File Analyzer

خزنده به شما می‌گوید در سایتتان چه هست. گزارش‌های سرور می‌گویند Google با آن در عمل چه می‌کند. ‏SEO Log File Analyzer گزارش‌های دسترسی شما را می‌خواند. نشان می‌دهد کدام ربات‌ها می‌آیند، با چه بسامدی و به کدام نشانی‌ها. همچنین نشان می‌دهد چه اندازه از بودجهٔ خزش در خطاها گم می‌شود. همین حالا گزارش‌ها را تحلیل کنید: فایلی بارگذاری کنید یا چند هزار سطر بچسبانید، هیچ چیز ذخیره نمی‌شود.

این تنها مجموعه‌دادهٔ سئوست که نمی‌توان آن را حدس زد. جایگاه‌ها، نمایش‌ها و آمار خزش همیشه از دست دوم به شما می‌رسند. گزارش‌های دسترسی ثبت خام هر درخواستی‌اند که سرور شما واقعاً به آن پاسخ داده است. نویسندهٔ آن‌ها ماشین خودتان است.

گزارش‌ها چه نشان می‌دهند

پس از بارگذاری، ابزار ترافیک خزنده‌های واقعی را از بقیه جدا می‌کند. سپس آن را به عددهایی می‌شکند که می‌توان با آن‌ها کار کرد.

• کدام خزنده‌ها آمده‌اند. هر ربات شناخته‌شده با شمار مراجعه، نشانی‌های یکتا و پراکندگی کدهای وضعیتی که گرفته است.
• با چه بسامدی آمده‌اند. بسامد خزش به تفکیک روز، تا افت یا جهش دیده شود نه حدس زده.
• وقتشان را کجا گذاشته‌اند. پرخزش‌ترین نشانی‌های شما، که کمتر پیش می‌آید همان فهرستی باشد که انتظار داشتید.
• جایی که خزش هدر می‌رود. تغییر مسیرها، خطاهای ۴۰۴، محدودیت‌های سرعت و خطاهای سرور، هر یک به‌صورت سهمی از درخواست‌ها، همراه با نشانی‌های مربوط.

خزنده‌های هوش مصنوعی نمای جداگانه دارند

‏GPTBot، ClaudeBot و PerplexityBot امروز بخش واقعی از ترافیک خودکار را می‌سازند. افزون بر آن، رفتارشان با Googlebot به‌کلی فرق دارد. جداگانه فهرست می‌شوند، با شمار مراجعه و تاریخ آخرین آمدن.

فعالیت خزنده‌های هوش مصنوعی نشان می‌دهد که آیا این خزنده‌های شناخته‌شده محتوای شما را می‌یابند و می‌گیرند. گرداننده گاهی این را مستند می‌کند. در آن صورت هر خزنده به‌عنوان آموزشی، جست‌وجو یا گیرنده به درخواست کاربر نشانه‌گذاری می‌شود. یک بازدید نه گنجاندن را تضمین می‌کند و نه نقل‌قول در پاسخ‌های هوش مصنوعی را.

کارایی خزش و اینکه خزش به کجا می‌رود

دربارهٔ کارایی خزش تنها با مدرک می‌ارزد سخن گفت، و گزارش‌ها همان مدرک‌اند. هر پاسخ بر پایهٔ معنایش رده‌بندی می‌شود. موفق، بدون تغییر (‏۳۰۴ هدررفت نیست)، تغییر مسیرها، ‏۴۰۴ و ۴۱۰، محدودیت سرعت، خطاهای سرور. هر رده سهمی از درخواست‌های ربات است، همراه با نشانی‌ها.

در سایت بزرگ، شگفتی معمولاً همین‌جا پنهان است. پارامترهای نشانی، الگوهای فهرست و بایگانی و تغییر مسیرهای کهنه می‌توانند بخش بزرگی از خزش را ببلعند. ابزار آن‌ها را بر پایهٔ الگو گرد می‌آورد و سهم، شمار درخواست‌ها و شمار نشانی‌های یکتا را نشان می‌دهد. آن‌ها را ناکارآمدی احتمالی می‌نامد، نه مشکل تأییدشده. داوری با شماست.

سنجش گزارش‌ها با یک خزش

اگر از DiagnoSEO Website Audit هم بهره می‌برید، پروژه‌ای را که پیشتر خزیده شده برگزینید. آنگاه تحلیلگر دو مجموعه‌داده را کنار هم می‌گذارد. از این سنجش دو فهرست بیرون می‌آید و هر دو به کار می‌آیند.

نشانی‌هایی که ربات خواسته و خزش نیافته، نشانی‌های شاید بی‌پیوندند و نه بیش از آن. ابزار آن‌ها را در رده‌های محتمل می‌گذارد، مانند نشانی‌های پارامتردار یا تغییر مسیرهای کهنه، و نتیجه‌گیری را به شما وامی‌گذارد. نشانی‌هایی که خزش یافته و ربات نخواسته، همچون دیده‌نشده در این بازه گزارش می‌شوند. بازهٔ کوتاه چیزی دربارهٔ نادیده گرفتن یک صفحه نمی‌گوید.

این قابلیت اختیاری است. بی نصب Website Audit کادر گزینش اصلاً پدیدار نمی‌شود و تحلیل گزارش‌ها همان‌گونه کار می‌کند.

گزارش‌های دسترسی کجا هستند

بیشتر پیشخوان‌های میزبانی آن‌ها را با نامی مانند «raw access logs» می‌دهند. در سروری که خودتان می‌گردانید، ‏Apache به‌طور پیش‌فرض در /var/log/apache2/access.log می‌نویسد و Nginx در /var/log/nginx/access.log.

قالب باید همان combined رایج باشد، و هر دو از آغاز همان را می‌نویسند. ‏Cloudflare، شبکهٔ CDN یا توزیع‌کنندهٔ بار در برابر سرور مبدأ آنچه را آن سرور می‌بیند دگرگون می‌کند. گزارش‌ها را از لایه‌ای بگیرید که به‌راستی به ربات پاسخ می‌دهد.

بر سر فایل چه می‌آید

پردازش روی سرور و در حافظه انجام می‌شود. خود گزارش نه بر دیسک نوشته می‌شود نه در پایگاه داده. پروژه‌ای برای ذخیره و تاریخچه‌ای نیست. تنها چیزی که می‌ماند، انباره‌ای کوتاه‌مدت از نتایج بررسی نشانی‌های IP است. در آن نشانی صفحه، نشانهٔ کارخواه یا دادهٔ درخواست نیست.

فایل‌های بزرگ‌تر از ۱۲ مگابایت به ۱۲ مگابایت نخست بریده می‌شوند. در سایتی میان‌اندازه این معمولاً ترافیک چند روز است. اگر بارگذاری از همان آغاز رد شود، آنچه شما را محدود می‌کند post_max_size سرور است نه ابزار.

در سنجش با ابزارهای دیگر

تحلیل گزارش‌ها معمولاً یا تمرینی در صفحه‌گسترده است یا پیمانه‌ای دفن‌شده در بستری گران. اینجا یک صفحهٔ تنهاست که فایلی می‌خواند و جدول‌ها را به شما بازمی‌گرداند. نشانهٔ «بستگی دارد» یعنی آن توانایی در بخشی از ابزارها یا در بسته‌های بالاتر هست.

پرسش‌های پرتکرار

• چه قالبی از گزارش پذیرفته می‌شود؟

  همان قالب رایج combined که Apache و Nginx به‌طور پیش‌فرض می‌نویسند. هر سطر به نشانی IP، مهر زمان، درخواست، کد وضعیت و نشانهٔ کارخواه نیاز دارد. سطرهای ناخوانا رد و شمرده می‌شوند، پس می‌بینید که فایل فهمیده شده است یا نه.

• آیا چیزی ذخیره می‌شود؟

  خیر. پردازش روی سرور و در حافظه انجام می‌شود و نتیجه به مرورگر شما بازمی‌گردد. هیچ چیز بر دیسک یا در پایگاه داده نوشته نمی‌شود و تاریخچه‌ای نیست، چون ابزار حالتی نگه نمی‌دارد.

• چه اندازه فایلی را می‌توانم تحلیل کنم؟

  تا ۱۲ مگابایت در هر اجرا و تا ۳۰۰٬۰۰۰ سطر. فایل‌های بزرگ‌تر بریده می‌شوند نه رد. اگر بارگذاری پیش از رسیدن به ابزار شکست بخورد، آنچه باید بالا برود post_max_size سرور شماست.

• از کجا بدانم ربات‌ها راستین‌اند؟

  ربات‌ها از روی نشانهٔ کارخواه شناخته می‌شوند و آن را هر کسی می‌تواند جعل کند. عددها را نشانه‌ای نیرومند بشمارید، نه مدرک. اگر ربات تنهایی حجمی باورنکردنی نشان دهد، نمونه‌ای از نشانی‌های IP آن را با پرس‌وجوی وارونهٔ DNS بسنجید و سپس دست به کار شوید.

• چرا در گزارش من هیچ رباتی نیست؟

  معمولاً گزارش‌ها از لایهٔ نادرست آمده‌اند. اگر پیش از سرور مبدأ شما Cloudflare یا شبکهٔ CDN باشد، همان لایه خود به بیشتر درخواست‌ها پاسخ می‌دهد و مبدأ هرگز آن‌ها را نمی‌بیند. گزارش‌ها را از لبهٔ شبکه بگیرید.

• آیا به Website Audit هم نیاز دارم؟

  خیر. تحلیل گزارش‌ها به‌تنهایی کامل است. ‏Website Audit تنها سنجش را می‌افزاید که گزارش‌ها را کنار یک خزش می‌گذارد و نشانی‌های شاید بی‌پیوند و نشانی‌های دیده‌نشده در بازهٔ گزارش را برمی‌شمارد. بی آن، کادر گزینش پنهان می‌ماند.

• به کدام بسته نیاز دارم؟

  تحلیل گزارش‌ها از بستهٔ Pro به بالا در دسترس است. ابزار را باز کنید تا وضعیت کنونی حساب خود را ببینید.

• هر چند وقت یک‌بار سر بزنم؟

  در سایتی پایدار ماهی یک‌بار بس است. پس از کوچ، بازطراحی یا افت ناگهانی ترافیک زودتر سر بزنید، چون گزارش واکنش خزنده را پیش از آنکه جایگاه‌ها بازتابش دهند نشان می‌دهد.

جایگاه‌ها از برآیند می‌گویند. گزارش‌ها از رفتاری می‌گویند که آن را ساخته است. فایل گزارشی بارگذاری کنید و ببینید خزنده‌ها چه کرده‌اند.