SEO Log File Analyzer

크롤러는 사이트에 무엇이 있는지 알려 줍니다. 서버 로그는 구글이 그것으로 실제로 무엇을 하는지 알려 줍니다. SEO Log File Analyzer는 접속 로그를 읽습니다. 어떤 봇이 오는지, 얼마나 자주, 어떤 주소로 오는지 보여 줍니다. 크롤링 예산이 오류로 얼마나 새는지도 보여 줍니다. 지금 로그를 분석하세요. 파일을 올리거나 몇천 줄을 붙여 넣으면 되고, 아무것도 저장되지 않습니다.

검색 최적화에서 짐작할 수 없는 자료는 이것뿐입니다. 순위와 노출, 크롤링 통계는 언제나 남을 거쳐 여러분에게 옵니다. 접속 로그는 서버가 실제로 응답한 모든 요청의 날것 그대로의 기록입니다. 그것을 쓰는 것은 여러분 자신의 기계입니다.

로그가 보여 주는 것

파일을 올리면 도구가 진짜 크롤러의 트래픽을 나머지와 갈라냅니다. 그다음 그것을 다룰 수 있는 숫자로 풀어 놓습니다.

• 어떤 크롤러가 다녀갔는지. 알려진 봇마다 방문 수, 서로 다른 주소, 받은 상태 코드의 분포를 함께 보여 줍니다.
• 얼마나 자주 왔는지. 날짜별 크롤링 빈도라서 떨어짐이나 치솟음을 짐작하지 않고 눈으로 봅니다.
• 무엇에 시간을 썼는지. 가장 많이 크롤링된 주소이며, 예상했던 목록인 경우는 드뭅니다.
• 크롤링이 어디서 새는지. 리디렉션, 404 오류, 속도 제한, 서버 오류를 각각 요청 대비 비율로, 해당 주소와 함께 보여줍니다.

인공지능 크롤러는 따로 봅니다

GPTBot과 ClaudeBot, PerplexityBot은 이제 자동 트래픽의 실질적인 부분을 차지합니다. 게다가 Googlebot과는 아주 다르게 움직입니다. 방문 수와 마지막으로 온 날짜와 함께 따로 나열됩니다.

인공지능 크롤러의 활동은 알려진 그런 크롤러가 콘텐츠를 찾아 내려받는지 보여줍니다. 운영사가 이를 문서로 밝힌 경우 각 크롤러는 학습용, 검색용, 사용자 요청에 따른 내려받기로 표시됩니다. 방문이 인공지능 답변에서의 포함이나 인용을 보장하지는 않습니다.

크롤링 효율과 크롤링이 향하는 곳

크롤링 효율은 근거가 있을 때만 이야기할 가치가 있고, 로그가 그 근거입니다. 모든 응답은 의미에 따라 분류됩니다. 성공, 변경 없음(304는 낭비가 아닙니다), 리디렉션, 404와 410, 속도 제한, 서버 오류. 각 분류는 봇 요청 대비 비율이며 주소가 함께 표시됩니다.

큰 사이트에서는 놀라운 점이 대개 바로 여기 숨어 있습니다. 주소의 매개변수, 목록과 보관 페이지 패턴, 오래된 리디렉션이 크롤링의 상당 부분을 삼킬 수 있습니다. 도구는 이를 패턴별로 묶어 비율, 요청 수, 고유 주소 수를 보여줍니다. 확인된 문제가 아니라 잠재적 비효율로 표시하며, 판단은 여러분의 몫입니다.

로그를 크롤링 결과와 맞춰 보기

DiagnoSEO Website Audit도 쓰신다면 이미 크롤링한 프로젝트를 고르세요. 그러면 분석기가 두 자료를 나란히 놓습니다. 그 비교에서 목록 두 개가 나오고 둘 다 쓸모가 있습니다.

봇이 요청했지만 크롤이 발견하지 못한 주소는 고아 주소일 가능성이 있을 뿐입니다. 도구는 매개변수 주소나 오래된 리디렉션 같은 유력한 범주로 나누고 결론은 여러분에게 남깁니다. 크롤이 찾았으나 봇이 요청하지 않은 주소는 이 로그 기간에 그 봇이 보지 않은 것으로 표시됩니다. 짧은 기간은 페이지가 무시되는지에 대해 아무것도 말해주지 않습니다.

이 기능은 선택입니다. Website Audit이 설치되어 있지 않으면 선택 칸이 아예 나타나지 않고, 로그 분석은 똑같이 돌아갑니다.

접속 로그를 찾는 곳

대부분의 호스팅 관리 화면은 「raw access logs」 같은 이름으로 제공합니다. 직접 관리하는 서버라면 Apache는 기본으로 /var/log/apache2/access.log에, Nginx는 /var/log/nginx/access.log에 씁니다.

형식은 흔히 쓰는 combined여야 하고, 둘 다 처음부터 그렇게 씁니다. 원본 서버 앞에 Cloudflare나 CDN, 부하 분산기가 있으면 그 서버가 보는 것이 달라집니다. 크롤러에게 실제로 응답하는 층에서 로그를 받으세요.

파일은 어떻게 되나

처리는 서버 메모리에서 이루어집니다. 로그 자체는 디스크에도 데이터베이스에도 기록되지 않습니다. 저장할 프로젝트도 없고 기록도 없습니다. 남는 것은 크롤러 IP 확인 결과의 단기 캐시뿐입니다. 여기에는 페이지 주소, 클라이언트 표식, 요청 데이터가 들어 있지 않습니다.

12MB가 넘는 파일은 앞쪽 12MB까지만 씁니다. 중간 규모 사이트라면 대개 며칠치 트래픽입니다. 올리기가 곧바로 거부된다면 도구가 아니라 서버의 post_max_size가 여러분을 막고 있는 것입니다.

다른 도구와 견주면

로그 분석은 보통 표 계산 프로그램에서 하는 작업이거나, 비싼 플랫폼 깊숙이 묻힌 기능입니다. 여기서는 파일을 읽고 표를 돌려주는 한 장의 페이지입니다. 「도구마다 다름」은 일부 도구나 상위 요금제에만 있다는 뜻입니다.

자주 묻는 질문

• 어떤 로그 형식을 받나요?

  Apache와 Nginx가 기본으로 쓰는 흔한 combined 형식입니다. 줄마다 IP 주소와 시각, 요청, 상태 코드, 클라이언트 표시가 있어야 합니다. 읽을 수 없는 줄은 건너뛰고 세어 두므로 파일이 제대로 읽혔는지 알 수 있습니다.

• 무언가 저장되나요?

  아니요. 처리는 서버 메모리에서 이루어지고 결과는 여러분의 브라우저로 돌아갑니다. 디스크에도 데이터베이스에도 쓰지 않으며, 도구가 상태를 지니지 않으므로 기록도 없습니다.

• 얼마나 큰 파일을 분석할 수 있나요?

  한 번에 12MB까지, 그리고 30만 줄까지입니다. 더 큰 파일은 거부하지 않고 잘라 냅니다. 올리기가 도구에 닿기도 전에 실패한다면 올려야 할 값은 서버의 post_max_size입니다.

• 봇이 진짜인지 어떻게 아나요?

  봇은 클라이언트 표시로 알아보는데 그것은 누구나 흉내 낼 수 있습니다. 숫자를 증거가 아니라 강한 단서로 받아들이세요. 한 봇이 믿기 어려운 양을 보인다면 그 IP 주소를 표본으로 골라 역방향 DNS로 확인한 뒤에 움직이세요.

• 제 로그에 봇이 하나도 없는 이유는 무엇인가요?

  대개 로그가 엉뚱한 층에서 왔습니다. 원본 서버 앞에 Cloudflare나 CDN이 있으면 그 층이 대부분의 요청에 직접 답하므로 원본은 그것을 보지 못합니다. 가장자리에서 로그를 받으세요.

• Website Audit도 필요한가요?

  아니요. 로그 분석은 그 자체로 완결됩니다. Website Audit은 대조 기능만 더하며, 로그를 크롤과 맞대어 고아 주소 후보와 로그 기간에 보이지 않은 주소를 열거합니다. 없으면 선택 항목이 숨겨집니다.

• 어떤 요금제가 필요한가요?

  로그 분석은 Pro 요금제부터 쓸 수 있습니다. 도구를 열어 계정의 현재 상태를 확인하세요.

• 얼마나 자주 들여다보면 좋을까요?

  안정된 사이트라면 한 달에 한 번이면 넉넉합니다. 이전이나 개편, 갑작스러운 방문 감소 뒤에는 더 일찍 보세요. 순위가 반영하기 전에 로그가 크롤러의 반응을 먼저 보여 줍니다.

순위는 결과를 말합니다. 로그는 그 결과를 만든 행동을 말합니다. 로그 파일을 올려 크롤러가 무엇을 했는지 확인하세요.