robots.txtを作成
robots.txtの作成は、テンプレートを選んで、ブロックするパスとサイトマップを入力するだけです。必要ならAIクローラーも除外でき、できあがったファイルがすぐに表示され、よくある間違いもチェックされます。
出典：IETF RFC 9309 – Robots Exclusion Protocol (グループ、Allow/Disallow、ワイルドカード * と $)。更新日：
計算方法
robots.txtは、サイトの最上位ディレクトリに置く小さなテキストファイルで、クローラーに取得してよい範囲を伝えます。ロボット排除プロトコル（RFC 9309）にしたがい、各グループはUser-agentで始まり、AllowとDisallowの規則を含みます。
出力される内容
- テンプレート：「すべて許可」は空のDisallow行を出力します。WordPressは
/wp-admin/をブロックしてadmin-ajax.phpを許可し、ショップ用はカート・決済・絞り込みなどのURLをブロックします。 - 独自のパス：パスは
/で始めます。*は任意の文字列、$はアドレスの末尾を表します。 - AIクローラー：選ぶと、既知のAI学習用クローラーごとに
Disallow: /のグループを追加します。従うかどうかは提供者次第です。 - サイトマップ：グループの外に、完全なアドレスで記載します。
知っておくこと
ファイルはドメインの/robots.txtで読める場所に置く必要があり、誰でも見られるため、アクセス制限の代わりにはなりません。ページをGoogleに表示させたくない場合は、ブロックではなくnoindexを使います。ブロックしたページも、内容なしで掲載されることがあるためです。公開後はrobots.txtのチェックでルールが意図どおり読まれるか確認でき、タイトルと説明文の検索結果での見え方は検索結果プレビューで確かめられます。
よくある質問
robots.txtはどう作りますか？
テンプレートを選び、ブロックするパスとサイトマップを入力して、表示された内容をコピーし、ドメインの最上位にrobots.txtとして保存します。そのあと「あなたのドメイン/robots.txt」を開いて確認します。
robots.txtはどこに置きますか？
ドメインの最上位ディレクトリで、https://あなたのドメイン/robots.txtで開ける場所です。サブフォルダーに置いたファイルは無視されます。サブドメインごとに別のファイルが必要です。
robots.txtでGoogleの検索結果から消せますか？
確実ではありません。禁止できるのはクロールだけで、ほかのページからリンクされていると、アドレスだけ内容なしで載ることがあります。除外にはnoindexを使います。
AIクローラーはどうブロックしますか？
クローラーごとにグループを作り、Disallow: /を指定します。ツールは既知のAI学習用クローラーを自動で追加します。法的な拘束力はありませんが、信頼できる提供者はこのファイルに従います。
robots.txtは必ず必要ですか？
必須ではありません。ファイルがなければクローラーはすべて取得できます。カートや内部検索など重要でない領域をクロール対象から外したり、サイトマップを知らせたりするときに役立ちます。
出典・根拠
- IETF RFC 9309 – Robots Exclusion Protocol (グループ、Allow/Disallow、ワイルドカード * と $)
- Google Search Central – Create and submit a robots.txt file
- Google Search Central – robots.txt: サポートされるルール(crawl-delay はサポート対象外)
更新日： · 編集方針
関連ツール
- robots.txtチェックとサイトマップ確認URLがGooglebot・Bingbot・AIクローラーにブロックされているかをrobots.txtチェックで確認。決め手のルール、書式の誤り、サイトマップの問題も表示します。
- SERPプレビュー（検索結果の表示幅チェック）タイトルとメタディスクリプションを入力すると、Google検索結果での見え方をプレビュー。表示幅をピクセルと文字数で確認し、省略されそうな場合はお知らせします。
- UTMパラメータ作成ツールUTMパラメータ作成ツール。URLにutm_source・utm_medium・utm_campaignなどを正しくエンコードして付与。既存のパラメータはそのまま残ります。
- HTTPステータスコード一覧HTTPステータスコード一覧。200、301、404、500など40以上のコードの意味と原因を解説し、コードやキーワードでの検索、クラス別の絞り込みにも対応しています。
- IPアドレス確認IPアドレス確認サイト。あなたのグローバルIPアドレス（IPv4・IPv6）をすぐに表示し、おおよその地域とプロバイダーもわかります。無料で、IPアドレスは保存しません。
- メタタグを生成タイトル、説明文、URL、画像を入れるだけで、title、meta description、canonical、OGP、Xカードのタグを生成。文字数のチェックつきで、コピーしてそのまま使えます。
- JSON-LDの生成JSON-LDの生成ツール。記事・FAQ・商品・店舗・組織の情報を入力するだけでSchema.org形式のコードを作成し、エラーチェックつきでそのままコピーできます。
- YAML JSON変換：YAMLからJSONへ、JSONからYAMLへYAMLとJSONを相互変換。YAML 1.2に準拠し、リスト・アンカー・複数行テキスト・コメントに対応。エラーは行番号で表示。ブラウザ内で完結し、アップロード不要です。
- リダイレクトチェックツールURLのリダイレクトチェックを無料で。301・302・307・308のステータスコード、転送先、応答時間を1段ずつ表示し、チェーンやループ、HTTPSの問題を見つけます。