SEO Log File Analyzer

Pajek vam pove, kaj na vašem spletnem mestu je. Strežniški dnevniki vam povedo, kaj Google s tem v resnici počne. SEO Log File Analyzer prebere vaše dnevnike dostopa. Pokaže, kateri roboti prihajajo, kako pogosto in na katere naslove. Pokaže tudi, koliko proračuna za pregledovanje se izgubi v napakah. Analizirajte dnevnike zdaj: naložite datoteko ali prilepite nekaj tisoč vrstic, nič se ne shrani.

To je edini nabor podatkov pri optimizaciji za iskalnike, ki ga ni mogoče uganiti. Položaji, prikazi in statistika pregledovanja pridejo do vas vedno iz druge roke. Dnevniki dostopa so surov zapis prav vsake zahteve, na katero je vaš strežnik zares odgovoril. Piše jih vaš lastni stroj.

Kaj dnevniki pokažejo

Po nalaganju orodje loči promet resničnih robotov od vsega drugega. Nato ga razčleni na števila, s katerimi lahko delate.

• Kateri pajki so bili tam. Vsak znani robot s številom obiskov, edinstvenimi naslovi in porazdelitvijo kod stanja, ki jih je prejel.
• Kako pogosto so prihajali. Pogostost pregledovanja po dnevih, tako da se padec ali skok vidi, namesto da bi se ugibal.
• Čemu so namenili čas. Vaši najpogosteje pregledani naslovi, kar je le redko seznam, ki bi ga pričakovali.
• Kje se pregledovanje izgubi. Preusmeritve, napake 404, omejitve tempa in napake strežnika, vsaka kot delež zahtev, s pripadajočimi naslovi.

Roboti umetne inteligence dobijo svoj pogled

GPTBot, ClaudeBot in PerplexityBot danes predstavljajo resničen del samodejnega prometa. Poleg tega se vedejo povsem drugače kot Googlebot. Navedeni so posebej, s številom obiskov in datumom zadnjega prihoda.

Dejavnost robotov umetne inteligence kaže, ali znani taki roboti najdejo in prenesejo vašo vsebino. Upravljavec to včasih dokumentira. Takrat je vsak robot označen kot učni, iskalni ali tak, ki prenaša na zahtevo uporabnika. Obisk ne zagotavlja ne vključitve ne navedbe v odgovorih umetne inteligence.

Učinkovitost pregledovanja in kam gre pregledovanje

O učinkovitosti pregledovanja se splača govoriti le z dokazi, in dnevniki so ta dokaz. Vsak odgovor je razvrščen po pomenu. Uspešen, nespremenjeno (304 ni zapravljanje), preusmeritve, 404 in 410, omejitev tempa, napake strežnika. Vsak razred je delež zahtev robota, skupaj z naslovi.

Na velikem spletnem mestu se presenečenje običajno skriva prav tu. Parametri v naslovih, vzorci seznamov in arhivov ter stare preusmeritve lahko požrejo velik del pregledovanja. Orodje jih združi po vzorcu in pokaže delež, število zahtev in število enoličnih naslovov. Označi jih kot možne neučinkovitosti, ne kot potrjene težave. Presoja ostaja vaša.

Primerjava dnevnikov s pregledom

Če uporabljate tudi DiagnoSEO Website Audit, izberite že pregledan projekt. Analizator takrat postavi oba nabora podatkov drug ob drugega. Iz te primerjave nastaneta dva seznama in oba sta koristna.

Naslovi, ki jih je robot zahteval in jih pregledovanje ni odkrilo, so morda osiroteli naslovi, nič več. Orodje jih razvrsti v verjetne kategorije, na primer naslove s parametri ali stare preusmeritve, sklep pa prepusti vam. Naslovi, ki jih je pregledovanje našlo, robot pa ne, so navedeni kot nevideni v tem obdobju. Kratko okno dnevnika ne pove ničesar o tem, ali je stran prezrta.

Ta možnost ni obvezna. Brez nameščenega Website Audita se izbirnik preprosto ne pojavi, analiza dnevnikov pa deluje enako.

Kje najdete svoje dnevnike dostopa

Večina nadzornih plošč pri ponudnikih gostovanja jih ponuja pod imenom, kot je «raw access logs». Na strežniku, ki ga upravljate sami, Apache privzeto piše v /var/log/apache2/access.log, Nginx pa v /var/log/nginx/access.log.

Oblika mora biti običajna combined, kar je natanko to, kar oba pišeta od začetka. Cloudflare, omrežje CDN ali izenačevalnik obremenitve pred izvornim strežnikom spremeni tisto, kar ta strežnik vidi. Prenesite dnevnike s plasti, ki robotu zares odgovarja.

Kaj se zgodi z datoteko

Obdelava poteka na strežniku, v pomnilniku. Sam dnevnik se ne zapiše ne na disk ne v zbirko podatkov. Ni projekta za shranjevanje in ni zgodovine. Ostane le kratkotrajni predpomnilnik rezultatov preverjanja naslovov IP. V njem ni naslovov strani, oznak odjemalca ali podatkov o zahtevah.

Datoteke nad 12 MB se skrajšajo na prvih 12 MB. Na srednje velikem spletnem mestu je to običajno več dni prometa. Če se nalaganje zavrne takoj, vas omejuje post_max_size vašega strežnika in ne orodje.

Log File Analyzer v primerjavi z drugimi orodji

Analiza dnevnikov je sicer bodisi vaja v preglednici bodisi modul, zakopan v dragi platformi. Tu je to ena sama stran, ki prebere datoteko in vam vrne razpredelnice. Oznaka «odvisno» pomeni, da zmožnost obstaja v delu orodij ali v višjih paketih.

Pogosta vprašanja

• Katera oblika dnevnika je sprejeta?

  Običajna oblika combined, ki jo Apache in Nginx pišeta privzeto. Vsaka vrstica potrebuje naslov IP, časovni žig, zahtevo, kodo stanja in oznako odjemalca. Neberljive vrstice se preskočijo in preštejejo, tako da vidite, ali je bila datoteka razumljena.

• Ali se kaj shrani?

  Ne. Obdelava poteka na strežniku v pomnilniku, rezultat pa se vrne v vaš brskalnik. Nič se ne zapiše na disk ali v zbirko podatkov, zgodovine pa ni, ker orodje ne ohranja stanja.

• Kako veliko datoteko lahko analiziram?

  Do 12 MB na zagon in do 300 000 vrstic. Večje datoteke se skrajšajo, namesto da bi bile zavrnjene. Če nalaganje odpove še pred orodjem, je treba zvišati post_max_size vašega strežnika.

• Kako vem, da so roboti pravi?

  Robote prepoznamo po oznaki odjemalca, to pa lahko vsakdo ponaredi. Vzemite števila kot močan namig, ne kot dokaz. Če posamezen robot kaže neverjeten obseg, preverite vzorec njegovih naslovov IP z obratno poizvedbo DNS, preden kaj ukrenete.

• Zakaj v mojem dnevniku ni nobenega robota?

  Dnevniki običajno prihajajo z napačne plasti. Če pred vašim izvornim strežnikom stoji Cloudflare ali omrežje CDN, ta plast sama odgovarja na večino zahtev in izvor jih nikoli ne vidi. Prenesite dnevnike z roba omrežja.

• Ali potrebujem tudi Website Audit?

  Ne. Analiza dnevnikov je samostojna. Website Audit doda le primerjavo, ki postavi dnevnike ob pregledovanje in našteje morda osirotele naslove ter naslove, nevidene v obdobju dnevnika. Brez njega polje ostane skrito.

• Kateri paket potrebujem?

  Analiza dnevnikov je na voljo od paketa Pro navzgor. Odprite orodje in videli boste trenutno stanje svojega računa.

• Kako pogosto je vredno pogledati sem?

  Pri stabilnem spletnem mestu zadošča enkrat na mesec. Poglejte prej po selitvi, prenovi ali nenadnem padcu prometa, saj dnevnik pokaže odziv pajka, preden ga položaji uspejo odraziti.

Položaji govorijo o izidu. Dnevniki govorijo o vedenju, ki ga je ustvarilo. Naložite datoteko z dnevnikom in poglejte, kaj so pajki počeli.