SEO Log File Analyzer

Egy feltérképező megmondja, mi van a webhelyén. A szervernaplók megmondják, mit csinál vele valójában a Google. A SEO Log File Analyzer elolvassa a hozzáférési naplóit. Megmutatja, mely robotok járnak ott, milyen gyakran és mely címeken. Azt is megmutatja, mennyi tűnik el a bejárási keretből a hibákban. Elemezze most a naplóit: töltsön fel egy fájlt vagy illesszen be néhány ezer sort, semmi nem kerül tárolásra.

Ez az egyetlen adatkészlet a keresőoptimalizálásban, amit nem lehet kitalálni. A helyezések, a megjelenések és a bejárási statisztikák mindig másodkézből jutnak el Önhöz. A hozzáférési naplók minden egyes kérés nyers feljegyzései, amelyre a szervere valóban válaszolt. A saját gépe írja őket.

Mit mutatnak a naplók

A feltöltés után az eszköz elválasztja a valódi robotforgalmat minden mástól. Utána számokra bontja, amelyekkel dolgozni lehet.

• Mely feltérképezők jártak ott. Minden ismert robot a találatainak számával, egyedi címeivel és a kapott állapotkódok megoszlásával.
• Milyen gyakran jöttek. Napi bontású bejárási gyakoriság, így egy visszaesés vagy kiugrás látszik, nem pedig találgatás tárgya.
• Mire fordították az időt. A leggyakrabban bejárt címei, és ez ritkán az a lista, amire számított volna.
• Hol vész el a feltérképezés. Átirányítások, 404-es hibák, ütemkorlátozások és szerverhibák, mindegyik a kérések arányában, a hozzájuk tartozó címekkel.

A mesterséges intelligencia robotjai külön nézetet kapnak

A GPTBot, a ClaudeBot és a PerplexityBot mára az automatikus forgalom valódi részét teszi ki. Ráadásul egészen másként viselkednek, mint a Googlebot. Külön szerepelnek, a találatok számával és az utolsó látogatás dátumával.

A mesterséges intelligencia robotjainak tevékenysége megmutatja, hogy az ismert ilyen robotok megtalálják és letöltik-e a tartalmát. Az üzemeltető ezt olykor dokumentálja. Ilyenkor minden robot tanító, keresési vagy felhasználói kérésre letöltő robotként van megjelölve. A látogatás nem garantálja sem a felvételt, sem az idézést a mesterséges intelligencia válaszaiban.

Feltérképezési hatékonyság és hová jut a feltérképezés

A feltérképezési hatékonyságról csak bizonyítékkal érdemes beszélni, és a naplók ezek a bizonyítékok. Minden válasz a jelentése szerint van besorolva. Sikeres, nem módosult (a 304 nem pazarlás), átirányítások, 404 és 410, ütemkorlátozás, szerverhibák. Minden osztály a robot kéréseinek aránya, a címekkel együtt.

Nagy webhelyen a meglepetés rendszerint éppen itt rejtőzik. A címek paraméterei, a listák és archívumok mintái, valamint a régi átirányítások a feltérképezés nagy részét elnyelhetik. Az eszköz minta szerint csoportosítja őket, és megmutatja az arányt, a kérések számát és az egyedi címek számát. Lehetséges hatékonysági gondokként jelöli meg, nem megerősített problémákként. Az ítélet az Öné marad.

A naplók összevetése egy bejárással

Ha a DiagnoSEO Website Auditot is használja, válasszon egy már bejárt projektet. Az elemző ekkor egymás mellé teszi a két adatkészletet. Ebből az összevetésből két lista születik, és mindkettő hasznos.

Azok a címek, amelyeket a robot kért, és amelyeket a feltérképezés nem talált meg, lehetséges árva címek, semmi több. Az eszköz valószínű kategóriákba rendezi őket, például paraméteres címek vagy régi átirányítások, a következtetést pedig Önre hagyja. A feltérképezés által talált, de nem kért címek úgy szerepelnek, mint amelyeket ez a robot ebben az időszakban nem látott. A rövid naplóablak semmit sem mond arról, hogy egy oldalt figyelmen kívül hagynak-e.

Ez a funkció nem kötelező. Telepített Website Audit nélkül a választómező meg sem jelenik, a naplóelemzés pedig ugyanúgy működik.

Hol találja a hozzáférési naplóit

A legtöbb tárhelyvezérlő «raw access logs» jellegű néven kínálja őket. Az Ön által kezelt szerveren az Apache alapértelmezésben a /var/log/apache2/access.log fájlba ír, az Nginx pedig a /var/log/nginx/access.log fájlba.

A formátumnak a szokásos combined formátumnak kell lennie, és pontosan ezt írja mindkettő gyárilag. A forrásszerver előtt álló Cloudflare, CDN vagy terheléselosztó megváltoztatja, mit lát az a szerver. Onnan töltse le a naplókat, ahol a robot valóban választ kap.

Mi történik a fájllal

A feldolgozás a kiszolgálón, a memóriában történik. Maga a napló nem kerül sem lemezre, sem adatbázisba. Nincs mentendő projekt és nincs előzmény. Egyedül az IP-címek ellenőrzési eredményeinek rövid életű gyorsítótára marad meg. Ebben nincsenek oldalcímek, ügyfélazonosítók vagy kérésadatok.

A 12 MB feletti fájlok az első 12 MB-ra vágódnak. Közepes méretű webhelyen ez rendszerint több napnyi forgalom. Ha a feltöltés rögtön elutasításra kerül, a szervere post_max_size beállítása korlátozza, nem az eszköz.

Log File Analyzer a többi eszközzel szemben

A naplóelemzés egyébként vagy táblázatkezelős gyakorlat, vagy egy drága platform mélyére temetett modul. Itt egyetlen oldal, amely beolvas egy fájlt és visszaadja a táblázatokat. A «változó» jelölés azt jelenti, hogy a képesség egyes eszközökben vagy magasabb csomagokban létezik.

Gyakori kérdések

• Milyen naplóformátumot fogad el?

  A szokásos combined formátumot, amelyet az Apache és az Nginx alapértelmezésben ír. Minden sorban kell lennie egy IP-címnek, egy időbélyegnek, a kérésnek, egy állapotkódnak és egy ügyfélazonosítónak. Az olvashatatlan sorokat átugorja és megszámolja, így látja, hogy a fájlt megértette-e.

• Tárol bármit is?

  Nem. A feldolgozás a szerveren, a memóriában történik, az eredmény pedig visszakerül a böngészőjébe. Semmi nem íródik lemezre vagy adatbázisba, előzmény pedig nincs, mert az eszköz nem tart fenn állapotot.

• Mekkora fájlt elemezhetek?

  Futtatásonként legfeljebb 12 MB-ot és legfeljebb 300 000 sort. A nagyobb fájlokat levágja, nem pedig elutasítja. Ha a feltöltés már az eszköz előtt elbukik, a szervere post_max_size értékét kell megemelni.

• Honnan tudom, hogy a robotok valódiak?

  A robotokat az ügyfélazonosítóról ismerni fel, és azt bárki hamisíthatja. Tekintse a számokat erős jelnek, ne bizonyítéknak. Ha egyetlen robot hihetetlen mennyiséget mutat, ellenőrizzen egy mintát az IP-címeiből fordított DNS-lekérdezéssel, mielőtt lépne.

• Miért nincs egyetlen robot sem a naplómban?

  A naplók rendszerint rossz rétegből származnak. Ha a forrásszervere előtt Cloudflare vagy CDN áll, az a réteg válaszol a kérések többségére, és a forrás soha nem látja őket. Inkább a hálózat széléről töltse le a naplókat.

• Szükségem van a Website Auditra is?

  Nem. A naplóelemzés önmagában teljes. A Website Audit csak az összevetést adja hozzá, amely szembeállítja a naplókat egy feltérképezéssel, és felsorolja a lehetséges árva címeket, valamint a naplóidőszakban nem látott címeket. Nélküle a mező rejtve marad.

• Melyik csomagra van szükségem?

  A naplóelemzés a Pro csomagtól felfelé érhető el. Nyissa meg az eszközt, hogy lássa fiókja jelenlegi állapotát.

• Milyen gyakran érdemes ide benézni?

  Stabil webhelyen havonta egyszer elég. Nézzen be előbb egy költözés, egy arculatváltás vagy hirtelen forgalomesés után, mert a napló a feltérképező reakcióját mutatja, mielőtt a helyezések tükröznék.

A helyezések az eredményről szólnak. A naplók arról a viselkedésről, amely létrehozta. Töltsön fel egy naplófájlt és nézze meg, mit csináltak a feltérképezők.