SEO Log File Analyzer

En crawler fortæller dig, hvad der er på dit website. Dine serverlogfiler fortæller, hvad Google rent faktisk gør ved det. SEO Log File Analyzer læser dine adgangslogfiler. Den viser, hvilke robotter der kommer, hvor ofte og til hvilke adresser. Den viser også, hvor meget af crawlbudgettet der forsvinder i fejl. Analysér dine logfiler nu: upload en fil eller indsæt et par tusind linjer, intet bliver gemt.

Det er det eneste datasæt inden for søgemaskineoptimering, man ikke kan gætte sig til. Placeringer, visninger og crawlstatistik når dig altid på anden hånd. Adgangslogfiler er den rå optegnelse over hver eneste forespørgsel, din server virkelig besvarede. Det er din egen maskine, der skriver dem.

Hvad logfilerne viser

Efter uploaden skiller værktøjet ægte crawlertrafik fra alt andet. Derefter bryder det den ned i tal, du kan arbejde med.

• Hvilke crawlere der var forbi. Hver kendt robot med sine hits, unikke adresser og fordelingen af de statuskoder, den modtog.
• Hvor ofte de kom. Crawlfrekvens per dag, så et fald eller et udsving kan ses i stedet for at blive gættet.
• Hvad de brugte tiden på. Dine mest crawlede adresser, og det er sjældent den liste, du havde ventet.
• Hvor crawlingen går tabt. Omdirigeringer, 404, hastighedsbegrænsninger og serverfejl, hver som andel af forespørgslerne, med de tilhørende adresser.

Crawlere med kunstig intelligens får deres egen visning

GPTBot, ClaudeBot og PerplexityBot står efterhånden for en reel del af den automatiske trafik. Desuden opfører de sig helt anderledes end Googlebot. De står opført for sig, med antal hits og datoen for det seneste besøg.

Aktiviteten hos crawlere med kunstig intelligens viser, om disse kendte crawlere finder og henter dit indhold. Udbyderen dokumenterer det nogle gange. I så fald markeres hver crawler som træningscrawler, søgecrawler eller hentning efter brugerens anmodning. Et besøg garanterer hverken medtagelse eller citering i svar fra kunstig intelligens.

Crawl-effektivitet og hvor crawlingen går hen

Crawl-effektivitet er kun værd at tale om med beviser, og loggene er det bevis. Hvert svar klassificeres efter, hvad det betyder. Vellykket, ikke ændret (304 er ikke spild), omdirigeringer, 404 og 410, hastighedsbegrænsning, serverfejl. Hver klasse er en andel af robottens forespørgsler, med adresserne.

På et stort websted gemmer overraskelsen sig som regel netop her. Parametre i adresser, mønstre for lister og arkiver samt gamle omdirigeringer kan sluge en stor del af crawlingen. Værktøjet grupperer dem efter mønster og viser andel, antal forespørgsler og antal unikke adresser. Det markerer dem som mulige ineffektiviteter, ikke som bekræftede problemer. Vurderingen er din.

Sammenhold logfilerne med en crawl

Bruger du også DiagnoSEO Website Audit, vælger du et crawlet projekt. Analyseværktøjet stiller så de to datasæt op ved siden af hinanden. Ud af den sammenligning kommer to lister, og begge er nyttige.

Adresser, som robotten bad om, og som crawlet ikke fandt, er muligvis forældreløse adresser, ikke mere. Værktøjet sorterer dem i sandsynlige kategorier, for eksempel adresser med parametre eller gamle omdirigeringer, og overlader konklusionen til dig. Adresser fundet af crawlet, som robotten ikke bad om, angives som ikke set af den robot i denne periode. Et kort logvindue siger intet om, hvorvidt en side ignoreres.

Funktionen er valgfri. Uden Website Audit installeret dukker vælgeren slet ikke op, og loganalysen fungerer på samme måde.

Hvor du finder dine adgangslogfiler

De fleste hostingpaneler tilbyder dem under et navn i stil med «raw access logs». På en server, du selv styrer, skriver Apache som standard til /var/log/apache2/access.log og Nginx til /var/log/nginx/access.log.

Formatet skal være det sædvanlige combined-format, hvilket er præcis det, begge skriver fra starten. Cloudflare, et CDN eller en load balancer foran oprindelsesserveren ændrer, hvad den server ser. Hent logfilerne fra det lag, der faktisk svarer robotten.

Hvad der sker med filen

Behandlingen sker på serveren, i hukommelsen. Selve loggen skrives hverken til disk eller til en database. Der er intet projekt at gemme og ingen historik. Det eneste, der bevares, er en kortvarig cache med resultaterne af IP-kontrollen. Den indeholder ingen adresser, klientbetegnelser eller forespørgselsdata.

Filer over 12 MB beskæres til de første 12 MB. På et mellemstort website er det som regel flere dages trafik. Bliver uploaden afvist med det samme, er det serverens post_max_size, der begrænser dig, ikke værktøjet.

Log File Analyzer over for andre værktøjer

Loganalyse er ellers enten en øvelse i regneark eller et modul begravet i en dyr platform. Her er det én enkelt side, der læser en fil og giver dig tabellerne. Mærkatet «afhænger» betyder, at evnen findes i nogle værktøjer eller i højere pakker.

Ofte stillede spørgsmål

• Hvilket logformat accepteres?

  Det sædvanlige combined-format, som Apache og Nginx skriver som standard. Hver linje skal have en IP-adresse, et tidsstempel, forespørgslen, en statuskode og en betegnelse for klienten. Linjer, der ikke kan læses, springes over og tælles, så du kan se, om filen blev forstået.

• Bliver der gemt noget?

  Nej. Behandlingen sker på serveren i hukommelsen, og resultatet går tilbage til din browser. Intet bliver skrevet til disk eller til en database, og historik findes ikke, for værktøjet holder ingen tilstand.

• Hvor stor en fil kan jeg analysere?

  Op til 12 MB per kørsel og op til 300 000 linjer. Større filer beskæres i stedet for at blive afvist. Fejler uploaden allerede inden værktøjet, er det serverens post_max_size, du skal hæve.

• Hvordan ved jeg, at robotterne er ægte?

  Robotter genkendes på betegnelsen for klienten, og den kan hvem som helst forfalske. Tag tallene som et stærkt fingerpeg, ikke som bevis. Viser en enkelt robot en usandsynlig mængde, bør du tjekke en stikprøve af dens IP-adresser med et omvendt DNS-opslag, før du handler.

• Hvorfor er der slet ingen robotter i min logfil?

  Som regel kommer logfilerne fra det forkerte lag. Sidder Cloudflare eller et CDN foran din oprindelsesserver, besvarer det lag de fleste forespørgsler selv, og oprindelsen ser dem aldrig. Hent logfilerne fra kanten i stedet.

• Har jeg også brug for Website Audit?

  Nej. Loganalysen er komplet i sig selv. Website Audit tilføjer kun sammenligningen, som holder loggene op mod et crawl og opregner muligvis forældreløse adresser samt adresser, der ikke er set i logperioden.

• Hvilken pakke har jeg brug for?

  Loganalyse findes fra Pro-pakken og opefter. Åbn værktøjet for at se, hvordan din konto ser ud lige nu.

• Hvor ofte bør jeg kigge på det her?

  På et stabilt website er en gang om måneden nok. Kig tidligere efter en flytning, et redesign eller et pludseligt fald i trafikken, for logfilen viser crawlerens reaktion, før placeringerne når at afspejle den.

Placeringer fortæller om udfaldet. Logfiler fortæller om den adfærd, der skabte det. Upload en logfil og se, hvad crawlerne har lavet.