Robots.txt テスター
あなたのrobots.txtファイルに構文エラーがないか、指定したパスが選択したボットに許可されているかを確認しましょう。
Robots.txtテスターは何をしますか？
Robots.txtテスターは、あなたのドメインからrobots.txtファイルを取得し、そのルールを解析します。このツールはリダイレクトを検出し、最終的なホスティング先でルールをテストします。これにより、ドメインが言語バージョンへリダイレクトされる場合のエラーを回避できます。
人気のあるUser agent（例：Googlebot）を選択できます。次に、ツールが指定したURLが許可（Allowed）か拒否（Disallowed）かを確認します。結果では、一致したルールと行番号が表示されます。
このツールは、robots.txtファイルの構文バリデーションも行います。発見された問題を表示し、エラー行をハイライトします。さらに、robots.txt全体の内容をテキストフィールドに表示します。
Robots.txtテスターはSEO担当者やウェブサイトオーナーにどう役立つか？
たった1つのミスのあるルールが、サイトの重要なページのクロールやインデックスをブロックすることがあります。それにより、検索可視性の低下やオーガニックトラフィックの損失につながることも。パスを1つテストするだけで、変更前にリスクを即座に検知できます。
実際の作業では、監査時の時間を節約できます。ルールを手作業で分析する代わりに、明確な判定とルール一致を得られます。これにより、確認作業は数分から数秒へ短縮され、ミスも減少します。
- URLが検索エンジンのロボットに対してアクセス可能か検証。
- 一致したルールと行番号をrobots.txtでプレビュー。
- 構文の正確性評価と問題点を素早く指摘。
- リダイレクト後の最終ドメインからの安全なrobots.txt取得。
- robots.txtで指定されたサイトマップアドレスのHTTPステータスチェック。
Robots.txtテスターの典型的な用途
- 新しいページがDisallowによりブロックされていないか確認。
- ドメイン移行やCDN導入後のルール検証。
- GooglebotやBingbotなど、各種ボットでのアクセスのテスト。
- クロールバジェット問題や予期しないページ除外の診断。
- robots.txtがテキストファイルではなくHTMLを返していないかチェック。
- サイトマップディレクティブの迅速なバリデーションとHTTPステータス確認。
Robots.txtテスターと他ツールとの比較
| 機能 | DiagnoSEO | 他のツール |
|---|---|---|
| ドメインからrobots.txtを自動取得 | ✅ | ✅ |
| 指定User agentでルールをテスト | ✅ | ✅ |
| 特定パスでのAllowed/Disallowed判定 | ✅ | ✅ |
| 一致したルールと行番号の表示 | ✅ | ❌ |
| robots.txt内容内の構文エラーのハイライト | ✅ | ❌ |
| リダイレクト対応＆最終ドメインからのrobots.txt取得 | ✅ | ❌ |
| robots.txtのサイトマップアドレスHTTPステータス確認 | ✅ | ❌ |
| robots.txt全文をテキストフィールドで表示 | ✅ | ✅ |
ヒントとベストプラクティス
- カテゴリ・フィルター・ページネーションのURLは公開変更前にテストしましょう。
- 広範なDisallowパターンを使う場合は、Allowルールを正確に指定してください。
- robots.txtとサイト内のインデックス方針の整合性に注意しましょう。
- 実装後はrobots.txtと宣言されているサイトマップのHTTPステータスを確認。
- ページ表示に必要なリソースが誤ってブロックされていないか注意。
よくあるエラー
- robots.txtファイルが存在しない。
- 重要なセクションが広すぎるDisallowでブロックされている。
- ディレクティブ構文ミスやコロン記号の欠如。
- User agentより前にルールが記述されている（グループ解釈が困難）。
- robots.txtが意図せずHTMLまたはトップページにリダイレクトされている。
- 古いサイトマップ記述や誤ったサーバーレスポンスコード。
Robots.txtテスターの使い方
- テストしたいページのURLを貼り付けます。
- リストからUser agent（例：Googlebot）を選択。
- テストを実行し、AllowedまたはDisallowedの判定を確認。
- 一致したルールとrobots.txt内の行番号をチェック。
- 構文バリデーションメッセージとハイライトされたエラーを確認。
- 下部ではrobots.txt内のXMLサイトマップアドレスのHTTPステータスも確認しましょう。
事例紹介
あるネットショップで、インデックスに登録されているページ数が減少する問題が発生しました。テストの結果、Disallowルールにより新しいカテゴリパスがブロックされていたことが判明。ツールは一致したルールとrobots.txtの行番号も示しました。ルール修正と再テスト後、アドレスは正常にクロールされるようになりました。
さらに、サイトマップのステータステーブルから1つのサイトマップファイルに問題が見つかりました。サーバーがエラーを返していたため、ボットが取得できませんでした。sitemapファイルを修正したことで、モニタリングも容易になりました。
よくある質問（FAQ）
-
Allowedは、robots.txtのルールがそのパスのクロールを指定ボットに許可していることを意味します。Disallowedはブロックされていることを示します。
-
はい。このツールは最終ドメインを検出し、目的地のホストからrobots.txtを取得します。
-
ツールは最もマッチするルールを検索します。最長一致ルールが優先され、並びの場合はAllowが適用されます。
-
ディレクティブの形式が誤っている場合やUser agentより前に記載されている場合、エラーが報告されます。ハイライト機能で修正がしやすくなります。
-
robots.txtはよくSitemapディレクティブを含んでいます。このテーブルでは、それらアドレスのHTTPステータスがサーバーで正しく返されているか確認できます。