SEO Log File Analyzer

En sökrobot berättar vad som finns på din webbplats. Dina serverloggar berättar vad Google faktiskt gör med den. SEO Log File Analyzer läser dina åtkomstloggar. Den visar vilka robotar som kommer, hur ofta och till vilka adresser. Den visar också hur mycket av genomsökningsbudgeten som försvinner i fel. Analysera dina loggar nu: ladda upp en fil eller klistra in några tusen rader, ingenting sparas.

Det här är den enda datamängden inom sökmotoroptimering som inte går att gissa sig till. Placeringar, visningar och genomsökningsstatistik når dig alltid i andra hand. Åtkomstloggar är den råa noteringen av varje förfrågan din server verkligen besvarade. Det är din egen maskin som skriver dem.

Vad loggarna visar

Efter uppladdningen skiljer verktyget äkta robottrafik från allt annat. Sedan bryter det ned den i siffror du kan arbeta med.

• Vilka robotar som var här. Varje känd robot med sina träffar, unika adresser och fördelningen av statuskoderna den fick.
• Hur ofta de kom. Genomsökningsfrekvens per dag, så att ett fall eller en topp syns i stället för att gissas.
• Vad de lade tid på. Dina mest genomsökta adresser, och det är sällan den lista du hade väntat dig.
• Var genomsökningen går förlorad. Omdirigeringar, 404, hastighetsbegränsningar och serverfel, vart och ett som andel av förfrågningarna, med tillhörande adresser.

Robotar för artificiell intelligens får en egen vy

GPTBot, ClaudeBot och PerplexityBot står numera för en verklig del av den automatiska trafiken. Dessutom beter de sig helt annorlunda än Googlebot. De listas separat, med antal träffar och datumet de senast sågs.

Aktiviteten hos sökrobotar med artificiell intelligens visar om dessa kända robotar hittar och hämtar ditt innehåll. Operatören dokumenterar det ibland. I så fall märks varje robot som träningsrobot, sökrobot eller hämtning på användarens begäran. Ett besök garanterar varken inkludering eller citering i svar från artificiell intelligens.

Genomsökningseffektivitet och vart genomsökningen går

Genomsökningseffektivitet är bara värd att diskutera med bevis, och loggarna är det beviset. Varje svar klassas efter vad det betyder. Lyckat, inte ändrat (304 är inte slöseri), omdirigeringar, 404 och 410, hastighetsbegränsning, serverfel. Varje klass är en andel av robotens förfrågningar, med adresserna.

På en stor webbplats brukar överraskningen finnas just här. Parametrar i adresser, mönster för listor och arkiv samt gamla omdirigeringar kan sluka en stor del av genomsökningen. Verktyget grupperar dem efter mönster och visar andel, antal förfrågningar och antal unika adresser. Det märker dem som möjliga ineffektiviteter, inte som bekräftade problem. Bedömningen är din.

Jämför loggarna med en genomsökning

Använder du även DiagnoSEO Website Audit väljer du ett genomsökt projekt. Analysverktyget lägger då de två datamängderna sida vid sida. Ur den jämförelsen kommer två listor, och båda är användbara.

Adresser som roboten begärde och som genomsökningen inte hittade är möjligen föräldralösa adresser, inget mer. Verktyget sorterar dem i troliga kategorier, till exempel adresser med parametrar eller gamla omdirigeringar, och lämnar slutsatsen till dig. Adresser som genomsökningen hittade men roboten inte begärde anges som ej sedda av den roboten under perioden. Ett kort loggfönster säger ingenting om en sida ignoreras.

Funktionen är valfri. Utan Website Audit installerat dyker väljaren helt enkelt inte upp, och logganalysen fungerar likadant.

Var du hittar dina åtkomstloggar

De flesta webbhotellspaneler erbjuder dem under ett namn i stil med «raw access logs». På en server du själv sköter skriver Apache som standard till /var/log/apache2/access.log och Nginx till /var/log/nginx/access.log.

Formatet måste vara det vanliga combined-formatet, vilket är precis det båda skriver från början. Cloudflare, ett CDN eller en lastbalanserare framför ursprungsservern förändrar vad den servern ser. Hämta loggarna från det lager som verkligen svarar roboten.

Vad som händer med filen

Bearbetningen sker på servern, i minnet. Själva loggen skrivs varken till disk eller till en databas. Det finns inget projekt att spara och ingen historik. Det enda som behålls är en kortlivad cache med resultaten av IP-kontrollen. Den innehåller inga adresser, klientbeteckningar eller förfrågningsdata.

Filer över 12 MB kapas till de första 12 MB. På en medelstor webbplats är det oftast flera dagars trafik. Om uppladdningen avvisas direkt är det serverns post_max_size som begränsar dig, inte verktyget.

Log File Analyzer jämfört med andra verktyg

Logganalys är annars antingen en övning i kalkylblad eller en modul begravd i en dyr plattform. Här är det en enda sida som läser en fil och ger dig tabellerna. Beteckningen «beror på» betyder att förmågan finns i vissa verktyg eller i högre paket.

Vanliga frågor

• Vilket loggformat accepteras?

  Det vanliga combined-formatet som Apache och Nginx skriver som standard. Varje rad behöver en IP-adress, en tidsstämpel, förfrågan, en statuskod och en identifierare för klienten. Rader som inte går att läsa hoppas över och räknas, så du ser om filen förstods.

• Sparas någonting?

  Nej. Bearbetningen sker på servern i minnet och resultatet går tillbaka till din webbläsare. Ingenting skrivs till disk eller till en databas, och någon historik finns inte eftersom verktyget inte håller något tillstånd.

• Hur stor fil kan jag analysera?

  Upp till 12 MB per körning och upp till 300 000 rader. Större filer kapas i stället för att avvisas. Misslyckas uppladdningen redan innan verktyget nås är det serverns post_max_size du behöver höja.

• Hur vet jag att robotarna är äkta?

  Robotar känns igen på identifieraren för klienten, och den kan vem som helst förfalska. Ta siffrorna som ett starkt tecken, inte som bevis. Visar en enskild robot en osannolik volym bör du kontrollera ett urval av dess IP-adresser med en omvänd DNS-uppslagning innan du agerar.

• Varför finns det inga robotar alls i min logg?

  Oftast kommer loggarna från fel lager. Sitter Cloudflare eller ett CDN framför din ursprungsserver är det det lagret som besvarar de flesta förfrågningarna, och ursprunget ser dem aldrig. Hämta loggarna från kanten i stället.

• Behöver jag Website Audit också?

  Nej. Logganalysen är komplett på egen hand. Website Audit lägger bara till jämförelsen, som ställer loggarna mot en genomsökning och listar möjligen föräldralösa adresser samt adresser som inte setts under loggperioden.

• Vilket paket behöver jag?

  Logganalys finns från Pro-paketet och uppåt. Öppna verktyget för att se hur ditt konto ser ut just nu.

• Hur ofta bör jag titta på det här?

  På en stabil webbplats räcker en gång i månaden. Titta tidigare efter en flytt, en omgörning eller ett plötsligt trafikfall, eftersom loggen visar robotens reaktion innan placeringarna hinner spegla den.

Placeringar berättar om utfallet. Loggar berättar om beteendet som gav det. Ladda upp en loggfil och se vad robotarna har gjort.