SEO Log File Analyzer

Ein Crawler sagt Ihnen, was auf Ihrer Website steht. Ihre Serverlogs sagen Ihnen, was Google damit tatsächlich macht. SEO Log File Analyzer liest Ihre Zugriffsprotokolle und zeigt, welche Bots kommen, wie oft und welche Adressen sie abrufen. Er zeigt außerdem, wie viel Crawl-Budget in Fehlern versickert. Analysieren Sie jetzt Ihre Logs: Datei hochladen oder ein paar tausend Zeilen einfügen, gespeichert wird nichts.

Das ist der eine Datensatz im SEO, den man nicht erraten kann. Rankings, Impressionen und Crawling-Statistiken erreichen Sie immer aus zweiter Hand. Zugriffsprotokolle sind die rohe Aufzeichnung jeder Anfrage, die Ihr Server wirklich beantwortet hat, geschrieben von Ihrer eigenen Maschine.

Was die Logs zeigen

Nach dem Hochladen trennt das Werkzeug echten Crawler-Verkehr vom Rest. Danach zerlegt es ihn in Zahlen, mit denen Sie arbeiten können.

• Welche Crawler da waren. Jeder bekannte Bot mit seinen Zugriffen, den eindeutigen Adressen und der Verteilung der erhaltenen Statuscodes.
• Wie oft sie kamen. Crawling-Häufigkeit nach Tagen, sodass ein Einbruch oder ein Ausschlag sichtbar wird, statt vermutet zu werden.
• Worauf sie Zeit verwendet haben. Ihre am häufigsten gecrawlten Adressen, und das ist selten die Liste, die man erwartet hätte.
• Wo das Crawling verloren geht. Weiterleitungen, 404er, Ratenbegrenzungen und Serverfehler, jeweils als Anteil der Anfragen, mit den zugehörigen Adressen.

KI-Crawler bekommen eine eigene Ansicht

GPTBot, ClaudeBot und PerplexityBot machen inzwischen einen echten Teil des automatischen Verkehrs aus. Dabei verhalten sie sich ganz anders als der Googlebot. Sie werden getrennt aufgeführt, mit Zugriffszahlen und dem Datum des letzten Besuchs.

Die Aktivität von Crawlern künstlicher Intelligenz zeigt, ob bekannte Crawler dieser Art Ihre Inhalte finden und abrufen. Wo der Betreiber es dokumentiert, wird jeder Crawler als Trainings-Crawler, KI-Suchcrawler oder nutzerausgelöster Abruf gekennzeichnet. Ein Besuch garantiert weder Aufnahme noch Zitierung in Antworten künstlicher Intelligenz.

Crawling-Effizienz und wohin das Crawling geht

Über Crawling-Effizienz lohnt sich ein Gespräch nur mit Belegen, und die Logs sind dieser Beleg. Jede Antwort wird nach ihrer Bedeutung eingeordnet. Erfolgreich, nicht geändert (304 ist keine Verschwendung), Weiterleitungen, 404 und 410, Ratenbegrenzung, Serverfehler. Jede Klasse ist ein Anteil der Anfragen des Bots, samt Adressen.

Auf einer großen Website steckt hier meist die Überraschung. Parameter in Adressen, Listen- und Archivmuster sowie alte Weiterleitungen können einen großen Anteil des Crawlings binden. Das Tool gruppiert sie nach Muster und zeigt Anteil, Anzahl der Anfragen und Anzahl eindeutiger Adressen. Es markiert sie als mögliche Ineffizienzen, nicht als bestätigte Probleme. Die Beurteilung bleibt bei Ihnen.

Logs mit einem Crawl abgleichen

Wenn Sie auch DiagnoSEO Website Audit nutzen, wählen Sie ein gecrawltes Projekt aus. Der Analyzer stellt dann beide Datensätze nebeneinander. Aus diesem Vergleich entstehen zwei Listen, und beide sind nützlich.

Adressen, die der Bot angefragt hat und die der Crawl nicht gefunden hat, sind mögliche verwaiste Adressen, mehr nicht. Das Tool ordnet sie wahrscheinlichen Kategorien zu, etwa Parameter-Adressen oder alten Weiterleitungen, und überlässt Ihnen den Schluss. Vom Crawl gefundene Adressen ohne Anfrage werden als in diesem Zeitraum nicht gesehen ausgewiesen. Ein kurzes Log-Fenster sagt nichts darüber, ob eine Seite ignoriert wird.

Diese Funktion ist optional. Ohne installiertes Website Audit erscheint das Auswahlfeld einfach nicht, und die Loganalyse läuft genauso weiter.

Wo Sie Ihre Zugriffsprotokolle finden

Die meisten Hosting-Oberflächen bieten sie unter einem Namen wie «raw access logs» oder «access_log» an. Auf einem selbst verwalteten Server schreibt Apache standardmäßig nach /var/log/apache2/access.log und Nginx nach /var/log/nginx/access.log.

Das Format muss das übliche Combined-Format sein, und genau das schreiben beide von Haus aus. Cloudflare, ein CDN oder ein Load Balancer vor dem Ursprungsserver verändert, was dieser überhaupt sieht. Holen Sie die Logs von der Schicht, die dem Crawler tatsächlich antwortet.

Was mit der Datei geschieht

Die Verarbeitung läuft auf dem Server im Arbeitsspeicher. Das Log selbst wird weder auf die Festplatte noch in eine Datenbank geschrieben. Es gibt kein Projekt zu speichern und keine Historie. Erhalten bleibt allein ein kurzlebiger Zwischenspeicher der IP-Prüfergebnisse. Er enthält keine Adressen, Kennungen oder Anfragedaten.

Dateien über 12 MB werden auf die ersten 12 MB gekürzt. Bei einer mittelgroßen Website sind das meist mehrere Tage Verkehr. Wird der Upload sofort abgewiesen, begrenzt Sie das post_max_size Ihres Servers und nicht das Werkzeug.

Log File Analyzer im Vergleich mit anderen Werkzeugen

Loganalyse ist sonst entweder eine Übung in der Tabellenkalkulation oder ein Modul tief in einer teuren Plattform. Hier ist es eine einzige Seite, die eine Datei liest und Ihnen die Tabellen ausgibt. Der Hinweis «kommt darauf an» bedeutet, dass es die Möglichkeit in manchen Werkzeugen oder in höheren Tarifen gibt.

Häufige Fragen

• Welches Logformat wird akzeptiert?

  Das übliche Combined-Format, das Apache und Nginx standardmäßig schreiben. Jede Zeile braucht eine IP-Adresse, einen Zeitstempel, die Anfrage, einen Statuscode und eine Kennung des Clients. Zeilen, die nicht lesbar sind, werden übersprungen und gezählt, sodass Sie sehen, ob die Datei verstanden wurde.

• Wird irgendetwas gespeichert?

  Nein. Die Verarbeitung läuft auf dem Server im Arbeitsspeicher, und das Ergebnis geht an Ihren Browser zurück. Nichts wird auf die Festplatte oder in eine Datenbank geschrieben, und einen Verlauf gibt es nicht, weil das Werkzeug keinen Zustand hält.

• Wie groß darf die Datei sein?

  Bis zu 12 MB pro Durchlauf und bis zu 300 000 Zeilen. Größere Dateien werden gekürzt statt abgewiesen. Scheitert der Upload schon davor, ist das post_max_size Ihres Servers die Grenze, die Sie anheben müssen.

• Woher weiß ich, dass die Bots echt sind?

  Bots werden über die Client-Kennung erkannt, und die kann jeder fälschen. Nehmen Sie die Zahlen als starken Hinweis, nicht als Beweis. Zeigt ein einzelner Bot unglaubwürdige Mengen, prüfen Sie eine Stichprobe seiner IP-Adressen per Reverse-DNS, bevor Sie darauf reagieren.

• Warum stehen in meinem Log gar keine Bots?

  Meist stammen die Logs aus der falschen Schicht. Sitzt Cloudflare oder ein CDN vor Ihrem Ursprungsserver, beantwortet dieses die meisten Crawler-Anfragen selbst, und der Ursprung sieht sie nie. Holen Sie die Logs stattdessen von der Edge.

• Brauche ich Website Audit dazu?

  Nein. Die Loganalyse ist für sich vollständig. Website Audit ergänzt nur den Abgleich, der die Logs einem Crawl gegenüberstellt und mögliche verwaiste Adressen sowie im Log-Zeitraum nicht gesehene Adressen auflistet. Ohne das Werkzeug bleibt das Auswahlfeld verborgen.

• Welchen Tarif brauche ich?

  Die Loganalyse gibt es ab dem Pro-Tarif aufwärts. Öffnen Sie das Werkzeug, um den aktuellen Stand Ihres Kontos zu sehen.

• Wie oft sollte ich hier hineinschauen?

  Bei einer stabilen Website reicht einmal im Monat. Schauen Sie früher nach einer Migration, einem Relaunch oder einem plötzlichen Verkehrseinbruch, denn das Log zeigt die Reaktion des Crawlers, bevor die Rankings nachziehen.

Rankings zeigen das Ergebnis. Logs zeigen das Verhalten, das dazu geführt hat. Laden Sie eine Logdatei hoch und sehen Sie, was die Crawler getan haben.