SEO Log File Analyzer

Обхождащият робот ви казва какво има на сайта ви. Дневниците на сървъра ви казват какво Google всъщност прави с него. SEO Log File Analyzer чете дневниците ви за достъп. Показва кои роботи идват, колко често и на кои адреси. Показва и колко от бюджета за обхождане изчезва в грешки. Анализирайте дневниците сега: качете файл или поставете няколко хиляди реда, нищо не се запазва.

Това е единственият набор от данни в оптимизацията за търсачки, който не може да се отгатне. Позициите, показванията и статистиката за обхождане стигат до вас винаги от втора ръка. Дневниците за достъп са суровата бележка за всяка заявка, на която сървърът ви наистина е отговорил. Пише ги вашата собствена машина.

Какво показват дневниците

След качването инструментът отделя трафика на истинските роботи от всичко останало. После го разлага на числа, с които може да се работи.

• Кои роботи са минали. Всеки познат робот с броя посещения, уникалните адреси и разпределението на получените кодове на състояние.
• Колко често са идвали. Честота на обхождане по дни, така че спад или скок се вижда, вместо да се предполага.
• На какво са отделили време. Най-често обхожданите ви адреси, а това рядко е списъкът, който сте очаквали.
• Къде се губи обхождането. Пренасочвания, грешки 404, ограничения на темпото и грешки на сървъра, всяко като дял от заявките, със съответните адреси.

Роботите на изкуствения интелект имат отделен изглед

GPTBot, ClaudeBot и PerplexityBot днес съставляват реална част от автоматичния трафик. Освен това се държат съвсем различно от Googlebot. Изброени са отделно, с броя посещения и датата на последното идване.

Активността на роботите с изкуствен интелект показва дали известните такива роботи откриват и изтеглят вашето съдържание. Операторът понякога документира това. Тогава всеки робот е отбелязан като обучаващ, търсещ или изтеглящ по заявка на потребителя. Посещението не гарантира нито включване, нито цитиране в отговорите на изкуствения интелект.

Ефективност на обхождането и накъде отива то

За ефективността на обхождането си струва да се говори само с доказателства, а дневниците са това доказателство. Всеки отговор се класифицира според значението си. Успешен, без промяна (304 не е разхищение), пренасочвания, 404 и 410, ограничаване на темпото, грешки на сървъра. Всеки клас е дял от заявките на робота, заедно с адресите.

На голям сайт изненадата обикновено се крие точно тук. Параметрите в адресите, шаблоните на списъци и архиви и старите пренасочвания могат да погълнат голяма част от обхождането. Инструментът ги групира по шаблон и показва дела, броя заявки и броя уникални адреси. Отбелязва ги като възможни неефективности, а не като потвърдени проблеми. Преценката остава ваша.

Сравнение на дневниците с обхождане

Ако използвате и DiagnoSEO Website Audit, изберете вече обходен проект. Анализаторът тогава поставя двата набора от данни един до друг. От това сравнение излизат два списъка и двата са полезни.

Адресите, които роботът е поискал и които обхождането не е открило, са възможно осиротели адреси, нищо повече. Инструментът ги подрежда във вероятни категории, например адреси с параметри или стари пренасочвания, а заключението оставя на вас. Адресите, намерени при обхождането и непоискани от робота, са отбелязани като невидени от този робот през този период. Кратък прозорец на дневника не казва нищо за това дали страницата се пренебрегва.

Тази възможност не е задължителна. Без инсталиран Website Audit полето за избор просто не се появява, а анализът на дневници работи по същия начин.

Къде ще намерите дневниците си за достъп

Повечето панели за хостинг ги предлагат под име, подобно на «raw access logs». На сървър, който управлявате сами, Apache по подразбиране пише в /var/log/apache2/access.log, а Nginx в /var/log/nginx/access.log.

Форматът трябва да е обичайният combined, а точно такъв пишат и двата от самото начало. Cloudflare, мрежа CDN или разпределител на натоварването пред първоначалния сървър променя това, което този сървър вижда. Изтеглете дневниците от слоя, който наистина отговаря на робота.

Какво става с файла

Обработката се извършва на сървъра, в паметта. Самият дневник не се записва нито на диск, нито в база данни. Няма проект за запазване и няма история. Единственото, което остава, е краткотраен кеш с резултатите от проверката на адресите IP. В него няма адреси на страници, означения на клиента или данни за заявки.

Файловете над 12 MB се отрязват до първите 12 MB. На сайт със среден размер това обикновено е трафик за няколко дни. Ако качването бъде отказано веднага, ограничава ви post_max_size на вашия сървър, а не инструментът.

Log File Analyzer в сравнение с други инструменти

Анализът на дневници иначе е или упражнение в електронна таблица, или модул, заровен в скъпа платформа. Тук е една-единствена страница, която прочита файл и ви връща таблиците. Означението «зависи» значи, че възможността я има в част от инструментите или в по-високите пакети.

Често задавани въпроси

• Какъв формат на дневника се приема?

  Обичайният формат combined, който Apache и Nginx пишат по подразбиране. Всеки ред трябва да има IP адрес, времеви печат, заявката, код на състояние и обозначение на клиента. Нечетимите редове се пропускат и преброяват, така че виждате дали файлът е бил разбран.

• Запазва ли се нещо?

  Не. Обработката се извършва на сървъра в паметта, а резултатът се връща в браузъра ви. Нищо не се записва на диск или в база данни и история няма, защото инструментът не поддържа състояние.

• Колко голям файл мога да анализирам?

  До 12 MB на едно изпълнение и до 300 000 реда. По-големите файлове се отрязват, вместо да бъдат отказани. Ако качването се провали още преди инструмента, трябва да повишите post_max_size на сървъра си.

• Откъде да знам, че роботите са истински?

  Роботите се разпознават по обозначението на клиента, а него всеки може да подправи. Приемайте числата като силна насока, не като доказателство. Ако един робот показва невероятен обем, проверете извадка от адресите му IP с обратна заявка DNS, преди да предприемете нещо.

• Защо в дневника ми няма нито един робот?

  Обикновено дневниците идват от грешния слой. Ако пред първоначалния ви сървър стои Cloudflare или мрежа CDN, този слой сам отговаря на повечето заявки и първоначалният сървър никога не ги вижда. Изтеглете дневниците от края на мрежата.

• Нужен ли ми е и Website Audit?

  Не. Анализът на дневници е пълноценен сам по себе си. Website Audit добавя само съпоставянето, което сравнява дневниците с обхождане и изброява възможно осиротелите адреси, както и адресите, невидени през периода на дневника. Без него полето остава скрито.

• Какъв пакет ми трябва?

  Анализът на дневници е достъпен от пакета Pro нагоре. Отворете инструмента, за да видите текущото състояние на профила си.

• Колко често си струва да се поглежда тук?

  При стабилен сайт е достатъчно веднъж месечно. Погледнете по-рано след преместване, обновяване на дизайна или внезапен спад на трафика, защото дневникът показва реакцията на робота, преди позициите да успеят да я отразят.

Позициите разказват за изхода. Дневниците разказват за поведението, което го е създало. Качете файл с дневник и вижте какво са правили роботите.