SEO Log File Analyzer

Crawler mówi, co jest na Twojej stronie. Logi serwera mówią, co Google faktycznie z tym robi. SEO Log File Analyzer czyta logi dostępu i pokazuje, które roboty przychodzą, jak często i pod jakie adresy. Pokazuje też, ile budżetu indeksowania przepada na błędach. Przeanalizuj logi teraz: wgraj plik albo wklej kilka tysięcy wierszy, nic nigdzie nie jest zapisywane.

To jedyny zbiór danych w SEO, którego nie da się zgadnąć. Pozycje, wyświetlenia i statystyki indeksowania docierają do Ciebie z drugiej ręki. Logi dostępu to surowy zapis każdego żądania, na które Twój serwer naprawdę odpowiedział, spisany przez Twoją własną maszynę.

Co pokazują logi

Po wgraniu logu narzędzie oddziela ruch prawdziwych robotów od reszty. Następnie rozkłada go na liczby, z którymi da się coś zrobić.

• Które roboty przyszły. Każdy znany bot wraz z liczbą wejść, liczbą unikalnych adresów i rozkładem otrzymanych kodów stanu.
• Jak często przychodziły. Częstotliwość indeksowania w rozbiciu na dni, więc spadek albo skok widać, zamiast go domniemywać.
• Na co poświęciły czas. Najczęściej indeksowane adresy, a to zwykle nie jest lista, której byś się spodziewał.
• Gdzie crawl się gubi. Przekierowania, błędy 404, ograniczenia tempa i błędy serwera, każde jako udział w żądaniach, z adresami, których dotyczą.

Roboty sztucznej inteligencji mają osobny widok

GPTBot, ClaudeBot i PerplexityBot odpowiadają dziś za realną część ruchu automatycznego, a zachowują się zupełnie inaczej niż Googlebot. Są wypisane osobno, z liczbą wejść i datą ostatniej wizyty.

Aktywność robotów sztucznej inteligencji pokazuje, czy znane roboty tego rodzaju odnajdują i pobierają Twoje treści. Tam, gdzie operator to dokumentuje, każdy robot jest oznaczony jako trenujący, wyszukujący albo pobierający na żądanie użytkownika. Wizyta robota nie gwarantuje uwzględnienia ani zacytowania w odpowiedziach generowanych przez sztuczną inteligencję.

Wydajność crawla i dokąd trafia

O wydajności crawla warto mówić tylko z dowodami, a logi są tym dowodem. Każda odpowiedź jest klasyfikowana według znaczenia. Udane, bez zmian (304 to nie marnotrawstwo), przekierowania, 404 i 410, ograniczenie tempa, błędy serwera. Każda klasa to udział w żądaniach robota, wraz z adresami.

Na dużym serwisie właśnie tu kryje się niespodzianka. Parametry w adresach, wzorce list i archiwów oraz stare przekierowania potrafią pochłonąć znaczną część crawla. Narzędzie grupuje je według wzorca i pokazuje udział, liczbę żądań i liczbę unikalnych adresów. Oznacza je jako potencjalne nieefektywności, nie jako potwierdzone problemy. Ocena należy do Ciebie.

Zestawienie logów z crawlem

Jeśli używasz też DiagnoSEO Website Audit, wskaż przecrawlowany projekt. Analizator zestawi wtedy oba zbiory danych obok siebie. Z tego porównania wychodzą dwie listy i obie są przydatne.

Adresy, o które robot pytał, a których skan nie wykrył, to potencjalnie osierocone adresy i tylko tyle. Narzędzie porządkuje je według prawdopodobnych kategorii, na przykład adresy z parametrami albo stare przekierowania, a wniosek zostawia Tobie. Adresy znalezione przez skan, o które robot nie pytał, są opisane jako niewidziane przez tego robota w tym okresie. Krótkie okno logu nic nie mówi o tym, czy strona jest pomijana.

Ta funkcja jest opcjonalna. Bez zainstalowanego Website Audit kontrolka po prostu się nie pojawia, a analiza logów działa dokładnie tak samo.

Gdzie znaleźć logi dostępu

Większość paneli hostingowych udostępnia je pod nazwą w rodzaju „raw access logs" albo „access_log". Na serwerze, którym zarządzasz sam, Apache domyślnie pisze do /var/log/apache2/access.log, a Nginx do /var/log/nginx/access.log.

Format musi być standardowy combined i taki właśnie oba serwery zapisują domyślnie. Cloudflare, CDN albo load balancer przed serwerem źródłowym zmienia to, co widzi źródło. Pobierz logi z tej warstwy, która faktycznie odpowiada robotowi.

Co dzieje się z plikiem

Przetwarzanie odbywa się na serwerze w pamięci. Sam log nie jest zapisywany ani na dysk, ani do bazy danych. Nie ma projektu do zapisania ani historii. Jedyne, co zostaje, to krótkotrwały cache wyników weryfikacji adresów IP robotów. Nie zawiera adresów stron, identyfikatorów klienta ani danych żądań.

Pliki powyżej 12 MB są przycinane do pierwszych 12 MB. Na średniej wielkości serwisie to zwykle kilka dni ruchu. Jeśli wgrywanie zostaje odrzucone od razu, ogranicza Cię post_max_size Twojego serwera, a nie samo narzędzie.

Log File Analyzer na tle innych narzędzi

Analiza logów bywa zwykle albo ćwiczeniem w arkuszu kalkulacyjnym, albo modułem ukrytym w drogiej platformie. Tutaj jest to jedna strona, która czyta plik i podaje gotowe tabele. Adnotacja „zależy" oznacza, że dana możliwość jest w części narzędzi albo w wyższych pakietach.

Najczęstsze pytania

• Jaki format logów jest przyjmowany?

  Standardowy format combined, który Apache i Nginx zapisują domyślnie. Każdy wiersz musi mieć adres IP, znacznik czasu, żądanie, kod stanu i identyfikator klienta. Wiersze, których nie da się odczytać, są pomijane i zliczane, więc widzisz, czy plik został zrozumiany.

• Czy cokolwiek jest zapisywane?

  Nie. Przetwarzanie odbywa się na serwerze w pamięci, a wynik wraca do Twojej przeglądarki. Nic nie trafia na dysk ani do bazy danych, a historii nie ma, bo narzędzie nie trzyma żadnego stanu.

• Jak duży plik mogę przeanalizować?

  Do 12 MB na jedno uruchomienie i do 300 000 wierszy. Większe pliki są przycinane, a nie odrzucane. Jeśli wgrywanie zawodzi, zanim plik dotrze do narzędzia, ograniczeniem jest post_max_size Twojego serwera.

• Skąd mam wiedzieć, że roboty są prawdziwe?

  Roboty rozpoznaje się po identyfikatorze klienta, który każdy może podrobić. Traktuj te liczby jako mocną wskazówkę, a nie dowód. Jeśli pojedynczy bot pokazuje nieprawdopodobny wolumen, sprawdź próbkę jego adresów IP odwrotnym zapytaniem DNS, zanim coś na tej podstawie zrobisz.

• Dlaczego w moim logu nie ma żadnych robotów?

  Zwykle logi pochodzą z niewłaściwej warstwy. Jeśli przed serwerem źródłowym stoi Cloudflare albo CDN, to on sam odpowiada na większość żądań robotów, a źródło nigdy ich nie widzi. Pobierz logi z warstwy brzegowej.

• Czy potrzebuję też Website Audit?

  Nie. Analiza logów jest kompletna sama w sobie. Website Audit dokłada tylko zestawienie, które zestawia logi ze skanem i wypisuje potencjalnie osierocone adresy oraz adresy niewidziane w okresie logu.

• Jakiego pakietu potrzebuję?

  Analiza logów jest dostępna od pakietu Pro wzwyż. Otwórz narzędzie, żeby zobaczyć aktualny stan swojego konta.

• Jak często warto tu zaglądać?

  Przy stabilnym serwisie wystarczy raz w miesiącu. Zajrzyj wcześniej po migracji, przebudowie albo nagłej zmianie ruchu, bo log pokazuje reakcję robota, zanim zobaczysz ją w pozycjach.

Pozycje mówią o skutku. Logi mówią o zachowaniu, które do niego doprowadziło. Wgraj plik z logami i zobacz, co robiły roboty.