SEO Log File Analyzer

Prohledávač vám řekne, co na webu je. Serverové logy vám řeknou, co s tím Google doopravdy dělá. SEO Log File Analyzer čte vaše přístupové logy. Ukáže, kteří roboti chodí, jak často a na jaké adresy. Ukáže také, kolik rozpočtu na procházení se ztratí v chybách. Analyzujte logy hned teď: nahrajte soubor nebo vložte pár tisíc řádků, nic se neukládá.

Je to jediná sada dat v optimalizaci pro vyhledávače, kterou nelze uhádnout. Pozice, zobrazení i statistiky procházení se k vám dostávají vždy z druhé ruky. Přístupové logy jsou syrový záznam každého požadavku, na který váš server skutečně odpověděl. Píše je váš vlastní stroj.

Co logy ukazují

Po nahrání nástroj oddělí provoz skutečných robotů od zbytku. Pak jej rozloží na čísla, se kterými se dá pracovat.

• Kteří prohledávači přišli. Každý známý robot s počtem přístupů, unikátními adresami a rozložením stavových kódů, které dostal.
• Jak často přicházeli. Četnost procházení po dnech, takže propad nebo výkyv je vidět, místo aby se odhadoval.
• Čemu věnovali čas. Vaše nejčastěji procházené adresy, což bývá málokdy seznam, který byste čekali.
• Kde se procházení ztrácí. Přesměrování, chyby 404, omezení tempa a chyby serveru, každé jako podíl požadavků, s příslušnými adresami.

Roboti umělé inteligence mají vlastní pohled

GPTBot, ClaudeBot a PerplexityBot dnes tvoří skutečnou část automatického provozu. Navíc se chovají úplně jinak než Googlebot. Jsou uvedeni zvlášť, s počtem přístupů a datem poslední návštěvy.

Aktivita crawlerů umělé inteligence ukazuje, zda známé crawlery tohoto druhu nacházejí a stahují váš obsah. Provozovatel to někdy dokumentuje. V takovém případě je každý crawler označen jako tréninkový, vyhledávací nebo stahující na žádost uživatele. Návštěva nezaručuje zařazení ani citaci v odpovědích umělé inteligence.

Efektivita procházení a kam procházení míří

O efektivitě procházení má smysl mluvit jen s důkazy a logy jsou tím důkazem. Každá odpověď je zařazena podle svého významu. Úspěšná, nezměněno (304 není plýtvání), přesměrování, 404 a 410, omezení tempa, chyby serveru. Každá třída je podíl požadavků robota, i s adresami.

Na velkém webu se překvapení skrývá obvykle právě tady. Parametry v adresách, vzory výpisů a archivů a stará přesměrování dokážou pohltit velkou část procházení. Nástroj je seskupí podle vzoru a ukáže podíl, počet požadavků a počet jedinečných adres. Označí je jako možné neefektivity, ne jako potvrzené problémy. Úsudek zůstává na vás.

Porovnání logů s procházením

Používáte-li také DiagnoSEO Website Audit, vyberte již prošlý projekt. Analyzátor pak postaví obě sady dat vedle sebe. Z toho porovnání vzejdou dva seznamy a oba se hodí.

Adresy, na které se robot ptal a které procházení neobjevilo, jsou možná osiřelé adresy, nic víc. Nástroj je roztřídí do pravděpodobných kategorií, třeba adresy s parametry nebo stará přesměrování, a závěr nechá na vás. Adresy nalezené procházením, na které se robot neptal, jsou uvedeny jako nespatřené tímto robotem v tomto období. Krátké okno logu neříká nic o tom, zda je stránka přehlížena.

Tato funkce je volitelná. Bez nainstalovaného Website Auditu se výběr prostě neobjeví a analýza logů funguje stejně.

Kde své přístupové logy najdete

Většina hostingových panelů je nabízí pod názvem typu «raw access logs». Na serveru, který spravujete sami, zapisuje Apache ve výchozím nastavení do /var/log/apache2/access.log a Nginx do /var/log/nginx/access.log.

Formát musí být obvyklý combined, což je přesně to, co oba píší od začátku. Cloudflare, síť CDN nebo vyvažovač zátěže před původním serverem mění to, co tento server vidí. Stáhněte logy z vrstvy, která robotovi skutečně odpovídá.

Co se se souborem stane

Zpracování probíhá na serveru v paměti. Samotný log se nezapisuje na disk ani do databáze. Není co uložit jako projekt a není žádná historie. Jediné, co zůstává, je krátkodobá vyrovnávací paměť výsledků ověření adres IP. Neobsahuje adresy stránek, označení klienta ani data požadavků.

Soubory nad 12 MB se ořežou na prvních 12 MB. U středně velkého webu to bývá několik dní provozu. Pokud je nahrání odmítnuto rovnou, omezuje vás post_max_size vašeho serveru, nikoli nástroj.

Log File Analyzer proti jiným nástrojům

Analýza logů bývá buď cvičením v tabulkovém procesoru, nebo modulem pohřbeným v drahé platformě. Tady je to jediná stránka, která přečte soubor a vrátí vám tabulky. Označení «záleží» znamená, že schopnost je v části nástrojů nebo ve vyšších tarifech.

Časté dotazy

• Jaký formát logu je přijímán?

  Obvyklý formát combined, který Apache a Nginx píší ve výchozím nastavení. Každý řádek potřebuje IP adresu, časové razítko, požadavek, stavový kód a označení klienta. Nečitelné řádky se přeskočí a spočítají, takže uvidíte, zda byl soubor pochopen.

• Ukládá se něco?

  Ne. Zpracování probíhá na serveru v paměti a výsledek se vrací do vašeho prohlížeče. Nic se nezapisuje na disk ani do databáze a historie neexistuje, protože nástroj si nedrží žádný stav.

• Jak velký soubor mohu analyzovat?

  Až 12 MB na jedno spuštění a až 300 000 řádků. Větší soubory se ořežou, místo aby byly odmítnuty. Selže-li nahrání ještě předtím, než se dostane k nástroji, je třeba zvýšit post_max_size vašeho serveru.

• Jak poznám, že jsou roboti skuteční?

  Roboti se rozpoznávají podle označení klienta a to může kdokoli zfalšovat. Berte čísla jako silné vodítko, nikoli jako důkaz. Pokud jediný robot vykazuje nevěrohodný objem, ověřte vzorek jeho IP adres zpětným dotazem DNS, než začnete jednat.

• Proč v mém logu nejsou žádní roboti?

  Logy obvykle pocházejí ze špatné vrstvy. Stojí-li před vaším původním serverem Cloudflare nebo síť CDN, odpovídá tato vrstva na většinu požadavků sama a původní server je nikdy nevidí. Stáhněte logy z okraje sítě.

• Potřebuji k tomu i Website Audit?

  Ne. Analýza logů je sama o sobě úplná. Website Audit přidává jen porovnání, které porovná logy s procházením a vypíše možná osiřelé adresy i adresy nespatřené v období logu.

• Jaký tarif potřebuji?

  Analýza logů je dostupná od tarifu Pro výše. Otevřete nástroj a uvidíte aktuální stav svého účtu.

• Jak často se sem má člověk dívat?

  U stabilního webu stačí jednou za měsíc. Podívejte se dřív po migraci, redesignu nebo náhlém propadu návštěvnosti, protože log ukáže reakci prohledávače dřív, než se projeví v pozicích.

Pozice vypovídají o výsledku. Logy vypovídají o chování, které k němu vedlo. Nahrajte soubor s logem a podívejte se, co prohledávači dělali.