SEO Log File Analyzer

En søkerobot forteller deg hva som finnes på nettstedet ditt. Serverloggene forteller hva Google faktisk gjør med det. SEO Log File Analyzer leser tilgangsloggene dine. Den viser hvilke roboter som kommer, hvor ofte og til hvilke adresser. Den viser også hvor mye av gjennomsøkingsbudsjettet som forsvinner i feil. Analyser loggene dine nå: last opp en fil eller lim inn noen tusen linjer, ingenting lagres.

Dette er det eneste datasettet innen søkemotoroptimalisering som ikke lar seg gjette. Plasseringer, visninger og gjennomsøkingsstatistikk når deg alltid på andre hånd. Tilgangslogger er den rå noteringen av hver eneste forespørsel serveren din virkelig besvarte. Det er din egen maskin som skriver dem.

Hva loggene viser

Etter opplastingen skiller verktøyet ekte robottrafikk fra alt annet. Deretter bryter det den ned i tall du kan arbeide med.

• Hvilke søkeroboter som var innom. Hver kjente robot med sine treff, unike adresser og fordelingen av statuskodene den fikk.
• Hvor ofte de kom. Gjennomsøkingsfrekvens per dag, slik at et fall eller et utslag blir synlig i stedet for gjettet.
• Hva de brukte tiden på. De mest gjennomsøkte adressene dine, og det er sjelden listen du hadde ventet.
• Hvor gjennomsøkingen går tapt. Omdirigeringer, 404, hastighetsbegrensninger og serverfeil, hver som andel av forespørslene, med tilhørende adresser.

Søkeroboter med kunstig intelligens får sin egen visning

GPTBot, ClaudeBot og PerplexityBot står nå for en reell del av den automatiske trafikken. Dessuten oppfører de seg helt annerledes enn Googlebot. De står oppført for seg, med antall treff og datoen de sist ble sett.

Aktiviteten til søkeroboter med kunstig intelligens viser om disse kjente robotene finner og henter innholdet ditt. Operatøren dokumenterer det noen ganger. I så fall merkes hver robot som treningsrobot, søkerobot eller henting på brukerens forespørsel. Et besøk garanterer verken inkludering eller sitering i svar fra kunstig intelligens.

Gjennomsøkingseffektivitet og hvor gjennomsøkingen går

Gjennomsøkingseffektivitet er bare verdt å snakke om med bevis, og loggene er det beviset. Hvert svar klassifiseres etter hva det betyr. Vellykket, ikke endret (304 er ikke sløsing), omdirigeringer, 404 og 410, hastighetsbegrensning, serverfeil. Hver klasse er en andel av robotens forespørsler, med adressene.

På et stort nettsted ligger overraskelsen som regel nettopp her. Parametere i adresser, mønstre for lister og arkiver samt gamle omdirigeringer kan sluke en stor del av gjennomsøkingen. Verktøyet grupperer dem etter mønster og viser andel, antall forespørsler og antall unike adresser. Det merker dem som mulige ineffektiviteter, ikke som bekreftede problemer. Vurderingen er din.

Sammenhold loggene med en gjennomsøking

Bruker du også DiagnoSEO Website Audit, velger du et gjennomsøkt prosjekt. Analyseverktøyet setter da de to datasettene ved siden av hverandre. Ut av den sammenligningen kommer to lister, og begge er nyttige.

Adresser roboten ba om, og som gjennomsøkingen ikke fant, er kanskje foreldreløse adresser, ikke mer. Verktøyet sorterer dem i sannsynlige kategorier, for eksempel adresser med parametere eller gamle omdirigeringer, og overlater konklusjonen til deg. Adresser funnet av gjennomsøkingen som roboten ikke ba om, oppgis som ikke sett av den roboten i denne perioden. Et kort loggvindu sier ingenting om en side blir ignorert.

Funksjonen er valgfri. Uten Website Audit installert dukker velgeren rett og slett ikke opp, og logganalysen fungerer på samme måte.

Hvor du finner tilgangsloggene dine

De fleste kontrollpaneler hos webhotell tilbyr dem under et navn i retning av «raw access logs». På en server du styrer selv, skriver Apache som standard til /var/log/apache2/access.log og Nginx til /var/log/nginx/access.log.

Formatet må være det vanlige combined-formatet, som er nøyaktig det begge skriver fra starten. Cloudflare, et CDN eller en lastbalanserer foran opprinnelsesserveren endrer hva den serveren ser. Hent loggene fra laget som faktisk svarer roboten.

Hva som skjer med filen

Behandlingen skjer på serveren, i minnet. Selve loggen skrives verken til disk eller til en database. Det finnes ikke noe prosjekt å lagre og ingen historikk. Det eneste som beholdes er en kortvarig hurtigbuffer med resultatene av IP-kontrollen. Den inneholder ingen adresser, klientbetegnelser eller forespørselsdata.

Filer over 12 MB kappes til de første 12 MB. På et mellomstort nettsted er det som regel flere dagers trafikk. Blir opplastingen avvist med en gang, er det serverens post_max_size som begrenser deg, ikke verktøyet.

Log File Analyzer mot andre verktøy

Logganalyse er ellers enten en øvelse i regneark eller en modul begravd i en dyr plattform. Her er det én enkelt side som leser en fil og gir deg tabellene. Merkingen «kommer an på» betyr at evnen finnes i noen verktøy eller i høyere pakker.

Vanlige spørsmål

• Hvilket loggformat godtas?

  Det vanlige combined-formatet som Apache og Nginx skriver som standard. Hver linje trenger en IP-adresse, et tidsstempel, forespørselen, en statuskode og en betegnelse på klienten. Linjer som ikke lar seg lese, hoppes over og telles, slik at du ser om filen ble forstått.

• Blir noe lagret?

  Nei. Behandlingen skjer på serveren i minnet, og resultatet går tilbake til nettleseren din. Ingenting skrives til disk eller til en database, og historikk finnes ikke, siden verktøyet ikke holder noen tilstand.

• Hvor stor fil kan jeg analysere?

  Opptil 12 MB per kjøring og opptil 300 000 linjer. Større filer kappes i stedet for å bli avvist. Feiler opplastingen allerede før verktøyet, er det serverens post_max_size du må heve.

• Hvordan vet jeg at robotene er ekte?

  Roboter gjenkjennes på betegnelsen til klienten, og den kan hvem som helst forfalske. Ta tallene som et sterkt tegn, ikke som bevis. Viser en enkelt robot en usannsynlig mengde, bør du sjekke et utvalg av IP-adressene dens med et omvendt DNS-oppslag før du handler.

• Hvorfor står det ingen roboter i loggen min?

  Som regel kommer loggene fra feil lag. Sitter Cloudflare eller et CDN foran opprinnelsesserveren din, besvarer det laget de fleste forespørslene selv, og opprinnelsen ser dem aldri. Hent loggene fra kanten i stedet.

• Trenger jeg Website Audit også?

  Nei. Logganalysen er komplett i seg selv. Website Audit legger bare til sammenligningen, som stiller loggene opp mot en gjennomsøking og lister opp kanskje foreldreløse adresser samt adresser som ikke er sett i loggperioden.

• Hvilken pakke trenger jeg?

  Logganalyse finnes fra Pro-pakken og oppover. Åpne verktøyet for å se hvordan kontoen din ser ut akkurat nå.

• Hvor ofte bør jeg se på dette?

  På et stabilt nettsted holder det en gang i måneden. Se tidligere etter en flytting, en omlegging eller et plutselig trafikkfall, for loggen viser robotens reaksjon før plasseringene rekker å gjenspeile den.

Plasseringer forteller om utfallet. Logger forteller om atferden som skapte det. Last opp en loggfil og se hva søkerobotene har gjort.