SEO Log File Analyzer

Сканер каже вам, що є на вашому сайті. Журнали сервера кажуть, що Google з цим насправді робить. SEO Log File Analyzer читає ваші журнали доступу. Він показує, які роботи приходять, як часто і за якими адресами. Показує також, скільки бюджету сканування зникає в помилках. Проаналізуйте журнали зараз: завантажте файл або вставте кілька тисяч рядків, нічого не зберігається.

Це єдиний набір даних у SEO, який неможливо вгадати. Позиції, покази і статистика сканування доходять до вас із других рук. Журнали доступу це сирий запис кожного запиту, на який ваш сервер справді відповів. Пише їх ваша власна машина.

Що показують журнали

Після завантаження інструмент відділяє трафік справжніх роботів від решти. Далі розкладає його на числа, з якими можна працювати.

• Які сканери приходили. Кожен відомий робот із кількістю звернень, унікальними адресами і розподілом отриманих кодів стану.
• Як часто вони приходили. Частота сканування за днями, тож падіння чи сплеск видно, а не припускається.
• На що вони витрачали час. Ваші найчастіше скановані адреси, і це рідко той перелік, який ви очікували.
• Де сканування губиться. Перенаправлення, 404, обмеження темпу та помилки сервера, кожне як частка запитів, із відповідними адресами.

Сканери штучного інтелекту мають окремий вигляд

GPTBot, ClaudeBot і PerplexityBot уже становлять помітну частку автоматичного трафіку. І поводяться вони зовсім інакше, ніж Googlebot. Їх наведено окремо, з кількістю звернень і датою останнього візиту.

Активність роботів штучного інтелекту показує, чи знаходять і завантажують вони ваш вміст. Там, де оператор це документує, кожен робот позначений як тренувальний, пошуковий або такий, що завантажує на запит користувача. Візит робота не гарантує ані включення, ані цитування у відповідях, згенерованих штучним інтелектом.

Ефективність сканування і куди воно йде

Про ефективність сканування варто говорити лише з доказами, і журнали є цим доказом. Кожна відповідь класифікується за її значенням. Успішна, без змін (304 не є марнуванням), перенаправлення, 404 і 410, обмеження темпу, помилки сервера. Кожен клас це частка запитів робота разом з адресами.

На великому сайті несподіванка зазвичай саме тут. Параметри в адресах, шаблони списків і архівів та старі перенаправлення можуть поглинати значну частку сканування. Інструмент групує їх за шаблоном і показує частку, кількість запитів і кількість унікальних адрес. Він позначає їх як можливі неефективності, а не як підтверджені проблеми. Оцінка залишається за вами.

Зіставлення журналів зі скануванням

Якщо ви користуєтеся також DiagnoSEO Website Audit, оберіть уже відсканований проєкт. Аналізатор поставить два набори даних поруч. З цього порівняння виходять два переліки, і обидва корисні.

Адреси, які робот запитував і яких сканування не виявило, є потенційно осиротілими адресами, і не більше. Інструмент розподіляє їх за ймовірними категоріями, наприклад адреси з параметрами або старі перенаправлення, а висновок залишає вам. Адреси, знайдені скануванням і не запитані роботом, позначені як не бачені цим роботом у цей період. Коротке вікно журналу нічого не говорить про те, чи ігнорується сторінка.

Ця можливість необов'язкова. Без встановленого Website Audit поле вибору просто не з'являється, а аналіз журналів працює так само.

Де знайти журнали доступу

Більшість панелей хостингу пропонують їх під назвою на кшталт «raw access logs». На сервері, яким керуєте ви, Apache типово пише в /var/log/apache2/access.log, а Nginx у /var/log/nginx/access.log.

Формат має бути звичним combined, і саме такий обидва пишуть від початку. Cloudflare, CDN або балансувальник перед основним сервером змінюють те, що той бачить. Беріть журнали з того шару, який справді відповідає роботу.

Що стається з файлом

Обробка відбувається на сервері в пам'яті. Сам журнал не записується ні на диск, ні до бази даних. Немає проєкту для збереження і немає історії. Єдине, що лишається, це короткочасний кеш результатів перевірки адрес IP роботів. Він не містить адрес сторінок, ідентифікаторів клієнта чи даних запитів.

Файли понад 12 МБ обрізаються до перших 12 МБ. На сайті середнього розміру це зазвичай кілька днів трафіку. Якщо завантаження відхиляють одразу, вас обмежує post_max_size вашого сервера, а не інструмент.

Log File Analyzer проти інших інструментів

Аналіз журналів зазвичай буває або вправою в таблиці, або модулем, схованим у дорогій платформі. Тут це одна сторінка, яка читає файл і повертає готові таблиці. Позначка «залежить» означає, що можливість є в частині інструментів або у вищих тарифах.

Часті запитання

• Який формат журналу приймається?

  Звичний формат combined, який Apache і Nginx пишуть типово. Кожен рядок має містити IP-адресу, позначку часу, запит, код стану і ідентифікатор клієнта. Нечитані рядки пропускаються і підраховуються, тож ви бачите, чи файл зрозуміло.

• Чи щось зберігається?

  Ні. Обробка відбувається на сервері в пам'яті, а результат повертається до вашого браузера. Нічого не записується ні на диск, ні в базу даних, і історії немає, бо інструмент не тримає стану.

• Якого розміру файл можна аналізувати?

  До 12 МБ за один запуск і до 300 000 рядків. Більші файли обрізаються, а не відхиляються. Якщо завантаження зривається ще до інструмента, підвищувати треба post_max_size вашого сервера.

• Звідки знати, що роботи справжні?

  Роботів упізнають за ідентифікатором клієнта, а його будь-хто може підробити. Сприймайте числа як сильну підказку, а не доказ. Якщо окремий робот показує неправдоподібний обсяг, перевірте вибірку його IP-адрес зворотним запитом DNS, перш ніж діяти.

• Чому в моєму журналі немає жодного робота?

  Зазвичай журнали походять не з того шару. Якщо перед основним сервером стоїть Cloudflare або CDN, саме цей шар відповідає на більшість запитів, і джерело їх ніколи не бачить. Беріть журнали з краю мережі.

• Чи потрібен мені також Website Audit?

  Ні. Аналіз журналів самодостатній. Website Audit додає лише зіставлення, яке порівнює журнали зі скануванням і перелічує потенційно осиротілі адреси та адреси, не бачені в періоді журналу. Без нього поле вибору залишається прихованим.

• Який тариф мені потрібен?

  Аналіз журналів доступний від тарифу Pro і вище. Відкрийте інструмент, щоб побачити поточний стан свого облікового запису.

• Як часто варто сюди заглядати?

  Для стабільного сайту досить раз на місяць. Загляньте раніше після міграції, оновлення дизайну чи раптового падіння трафіку, бо журнал показує реакцію сканера ще до того, як її відобразять позиції.

Позиції розповідають про підсумок. Журнали розповідають про поведінку, яка його дала. Завантажте файл журналу і подивіться, що робили сканери.