こんにちは、阿久梨絵です！
Google Search Console（以下GSC）を使っていると、「 robots.txt によりブロックされました」という除外ステータスが表示されることがあります。
これは、検索エンジンに対して「このページはクロールしないでください」と指示している状態。つまり、検索エンジンがそのページの中身を見に行けないということです。
この記事では、robots.txtによるブロックの意味、よくある原因、そして必要な対処法についてわかりやすく解説します。
robots.txtとは？
robots.txtは、Webサイトのルートディレクトリに設置されるテキストファイルで、検索エンジンのクローラーに対してクロールの可否を指示するためのものです。
基本的な記述例
User-agent: *
Disallow: /private/
この場合、すべての検索エンジンに対して /private/ 以下のページをクロールしないよう指示しています。
「robots.txt によりブロックされました」の意味
GSCでこのステータスが表示されるのは、GoogleのクローラーがそのURLにアクセスしようとしたが、robots.txtの記述によってクロールが拒否された場合です。
重要なのは、クロールが拒否されているだけで、インデックスされている可能性はあるという点。つまり、検索結果に表示されることもあるが、内容は読み取られていない状態です。
よくある原因
| 原因 | 詳細 |
|---|---|
| robots.txtの誤記述 | 本来クロールさせたいページがDisallowされている |
| CMSやプラグインの自動生成 | WordPressなどが自動でrobots.txtを生成していることがある |
| 開発環境の設定ミス | テスト環境の設定が本番環境に残っているケース |
| サーバー移行時の設定漏れ | robots.txtが旧サーバーのままになっている |
対処方法
1. GSCで除外されたURLを確認
・「インデックス」→「ページ」→「robots.txt によりブロックされました」をクリックすると、対象URLが一覧表示されます。
2. robots.txtの内容を確認
・サイトのルートディレクトリ（例：https://example.com/robots.txt）にアクセスして、該当URLがDisallowされていないか確認します。
3. 不要なDisallowを削除
・クロールさせたいページがブロックされている場合は、該当のDisallow行を削除します。
例
# 修正前
Disallow: /blog/
# 修正後（クロール許可）
Allow: /blog/
4. GSCで「URL検査」→「インデックス登録をリクエスト」
・robots.txtを修正したら、GSCでインデックス登録をリクエストして、Googleに再クロールを促しましょう。
まとめ
「 robots.txt によりブロックされました」というステータスは、単なる技術的エラーではなく、検索エンジンとの“距離感”の設計ミスとも言えます。
Webサイトにとって、検索エンジンは「訪問者」であり「案内人」。その案内人に「ここは見ないで」と伝えることは、意図的な非公開か、うっかりした遮断か──その違いがSEOに大きな影響を与えます。
robots.txtは、情報の公開範囲をコントロールする強力な手段です。しかしその力は、誤った設定によって“見せたいページが見られない”という逆効果を生むこともあります。
・本当にブロックしたいページなのか？
・CMSやプラグインが勝手に設定していないか？
・サーバー移行や開発環境の名残が残っていないか？
こうした視点でrobots.txtを見直すことは、SEOだけでなく、ユーザー体験や情報設計の精度にもつながります。
検索エンジンとの関係性は、Webサイトの“社会性”そのもの。
その距離感をどう設計するかは、技術者の意図と配慮にかかっています。
阿久梨絵でした！
