SEO Log File Analyzer

Indeksointirobotti kertoo, mitä sivustollasi on. Palvelimen lokit kertovat, mitä Google sille oikeasti tekee. SEO Log File Analyzer lukee käyttölokisi. Se näyttää, mitkä robotit käyvät, kuinka usein ja missä osoitteissa. Se näyttää myös, kuinka paljon indeksointibudjetista katoaa virheisiin. Analysoi lokisi nyt: lataa tiedosto tai liitä muutama tuhat riviä, mitään ei tallenneta.

Tämä on hakukoneoptimoinnin ainoa aineisto, jota ei voi arvata. Sijoitukset, näyttökerrat ja indeksointitilastot saavuttavat sinut aina toisen käden kautta. Käyttölokit ovat raaka merkintä jokaisesta pyynnöstä, johon palvelimesi todella vastasi. Ne kirjoittaa sinun oma koneesi.

Mitä lokit näyttävät

Latauksen jälkeen työkalu erottaa aitojen robottien liikenteen kaikesta muusta. Sitten se pilkkoo sen luvuiksi, joiden kanssa voit työskennellä.

• Mitkä robotit kävivät. Jokainen tunnettu robotti osumamäärineen, yksilöllisine osoitteineen ja saamiensa tilakoodien jakaumana.
• Kuinka usein ne tulivat. Indeksointitiheys päivittäin, jolloin pudotus tai piikki näkyy sen sijaan että sitä arvailtaisiin.
• Mihin ne käyttivät aikansa. Eniten indeksoidut osoitteesi, ja se on harvoin se lista jota odotit.
• Missä indeksointi hukkuu. Uudelleenohjaukset, 404-virheet, nopeusrajoitukset ja palvelinvirheet, kukin osuutena pyynnöistä, osoitteineen.

Tekoälyroboteilla on oma näkymänsä

GPTBot, ClaudeBot ja PerplexityBot muodostavat nykyään todellisen osan automaattisesta liikenteestä. Lisäksi ne käyttäytyvät aivan toisin kuin Googlebot. Ne on lueteltu erikseen, osumamäärän ja viimeisen käynnin päivämäärän kera.

Tekoälyrobottien toiminta kertoo, löytävätkö ja hakevatko nämä tunnetut robotit sisältöäsi. Ylläpitäjä joskus dokumentoi tämän. Silloin kukin robotti merkitään koulutusrobotiksi, hakurobotiksi tai käyttäjän pyynnöstä hakevaksi. Vierailu ei takaa sisällyttämistä eikä lainaamista tekoälyn vastauksissa.

Indeksoinnin tehokkuus ja mihin indeksointi kohdistuu

Indeksoinnin tehokkuudesta kannattaa puhua vain todisteiden kanssa, ja lokit ovat se todiste. Jokainen vastaus luokitellaan merkityksensä mukaan. Onnistunut, ei muutettu (304 ei ole tuhlausta), uudelleenohjaukset, 404 ja 410, nopeusrajoitus, palvelinvirheet. Kukin luokka on osuus robotin pyynnöistä, osoitteineen.

Suurella sivustolla yllätys piilee yleensä juuri täällä. Osoitteiden parametrit, listaus- ja arkistokuviot sekä vanhat uudelleenohjaukset voivat niellä suuren osan indeksoinnista. Työkalu ryhmittelee ne kuvion mukaan ja näyttää osuuden, pyyntöjen määrän ja yksilöllisten osoitteiden määrän. Se merkitsee ne mahdollisiksi tehottomuuksiksi, ei vahvistetuiksi ongelmiksi. Arvio jää sinulle.

Lokien vertaaminen indeksointiin

Jos käytät myös DiagnoSEO Website Auditia, valitse jo indeksoitu projekti. Analysaattori asettaa silloin molemmat aineistot rinnakkain. Vertailusta syntyy kaksi listaa, ja molemmat ovat hyödyllisiä.

Osoitteet, joita robotti pyysi ja joita indeksointi ei löytänyt, ovat mahdollisesti orpoja osoitteita, ei enempää. Työkalu lajittelee ne todennäköisiin luokkiin, kuten parametriosoitteisiin tai vanhoihin uudelleenohjauksiin, ja jättää päätelmän sinulle. Indeksoinnin löytämät osoitteet, joita robotti ei pyytänyt, merkitään tämän robotin näkemättömiksi tällä jaksolla. Lyhyt lokijakso ei kerro mitään siitä, ohitetaanko sivu.

Tämä ominaisuus ei ole pakollinen. Ilman asennettua Website Auditia valintakenttä ei yksinkertaisesti ilmesty, ja lokianalyysi toimii aivan samoin.

Mistä löydät käyttölokisi

Useimmat webhotellien hallintapaneelit tarjoavat ne nimellä joka muistuttaa «raw access logs». Itse hallinnoimallasi palvelimella Apache kirjoittaa oletuksena tiedostoon /var/log/apache2/access.log ja Nginx tiedostoon /var/log/nginx/access.log.

Muodon on oltava tavanomainen combined, ja juuri sitä molemmat kirjoittavat alusta asti. Cloudflare, CDN-verkko tai kuormantasaaja alkuperäispalvelimen edessä muuttaa sen mitä tuo palvelin näkee. Nouda lokit siitä kerroksesta joka oikeasti vastaa robotille.

Mitä tiedostolle tapahtuu

Käsittely tapahtuu palvelimella muistissa. Itse lokia ei kirjoiteta levylle eikä tietokantaan. Ei ole projektia tallennettavaksi eikä historiaa. Ainoa säilyvä asia on lyhytikäinen välimuisti IP-osoitteiden tarkistustuloksista. Se ei sisällä sivujen osoitteita, asiakastunnisteita eikä pyyntötietoja.

Yli 12 megatavun tiedostot leikataan ensimmäisiin 12 megatavuun. Keskikokoisella sivustolla se on yleensä usean päivän liikenne. Jos lataus hylätään heti, sinua rajoittaa palvelimesi post_max_size eikä työkalu.

Log File Analyzer muihin työkaluihin verrattuna

Lokianalyysi on muuten joko taulukkolaskentaharjoitus tai kalliiseen alustaan haudattu moduuli. Täällä se on yksi ainoa sivu joka lukee tiedoston ja palauttaa sinulle taulukot. Merkintä «vaihtelee» tarkoittaa että ominaisuus on osassa työkaluja tai korkeammissa paketeissa.

Usein kysyttyä

• Mikä lokimuoto hyväksytään?

  Tavanomainen combined-muoto jonka Apache ja Nginx kirjoittavat oletuksena. Jokaisella rivillä on oltava IP-osoite, aikaleima, pyyntö, tilakoodi ja asiakkaan tunniste. Lukukelvottomat rivit ohitetaan ja lasketaan, joten näet ymmärrettiinkö tiedosto.

• Tallennetaanko mitään?

  Ei. Käsittely tapahtuu palvelimella muistissa, ja tulos palaa selaimeesi. Mitään ei kirjoiteta levylle eikä tietokantaan, eikä historiaa ole, koska työkalu ei pidä yllä tilaa.

• Kuinka suuren tiedoston voin analysoida?

  Enintään 12 megatavua ajoa kohden ja enintään 300 000 riviä. Isommat tiedostot leikataan sen sijaan että ne hylättäisiin. Jos lataus epäonnistuu jo ennen työkalua, palvelimesi post_max_size on se raja jota on nostettava.

• Mistä tiedän että robotit ovat aitoja?

  Robotit tunnistetaan asiakkaan tunnisteesta, ja sen voi väärentää kuka tahansa. Ota luvut vahvana viitteenä, älä todisteena. Jos yksittäinen robotti näyttää epäuskottavan määrän, tarkista otos sen IP-osoitteista käänteisellä DNS-kyselyllä ennen kuin toimit.

• Miksi lokissani ei ole yhtään robottia?

  Yleensä lokit tulevat väärästä kerroksesta. Jos alkuperäispalvelimesi edessä on Cloudflare tai CDN-verkko, tuo kerros vastaa itse useimpiin pyyntöihin eikä alkuperä näe niitä koskaan. Nouda lokit reunalta.

• Tarvitsenko myös Website Auditin?

  Et. Lokianalyysi on itsessään täydellinen. Website Audit lisää vain vertailun, joka asettaa lokit indeksointia vasten ja luettelee mahdollisesti orvot osoitteet sekä osoitteet, joita lokijaksolla ei nähty.

• Minkä paketin tarvitsen?

  Lokianalyysi on saatavilla Pro-paketista ylöspäin. Avaa työkalu nähdäksesi tilisi nykyisen tilanteen.

• Kuinka usein tänne kannattaa katsoa?

  Vakaalla sivustolla kerran kuussa riittää. Katso aiemmin muuton, ulkoasu-uudistuksen tai äkillisen liikennepudotuksen jälkeen, sillä loki näyttää robotin reaktion ennen kuin sijoitukset ehtivät heijastaa sitä.

Sijoitukset kertovat lopputuloksesta. Lokit kertovat käytöksestä joka sen tuotti. Lataa lokitiedosto ja katso mitä robotit ovat tehneet.