クローラー
クローラーとは、Web上のページを自動巡回してデータを集めるプログラムのこと。Googleの「Googlebot」が代表例で、これに見つけてもらわないと検索結果に表示されません。
クローラー
ひと言で: 世界中のWebページを24時間自動巡回しているロボットです。
クローラーとは
クローラー（Crawler）は、Webサイトを自動的に巡回してページの内容を読み取り、検索エンジンのデータベースに登録するためのプログラムです。「ボット（bot）」「スパイダー（spider）」とも呼ばれます。
代表的なクローラーは以下です。
- Googlebot（Google）
- Bingbot（Microsoft Bing）
- GPTBot（OpenAI / ChatGPT用）
- PerplexityBot（Perplexity）
クローラーはまずトップページを読み、そこから貼られているリンクをたどって次々と他のページを発見・取得していきます。これを「クロール（crawl = 這う）」と呼びます。
なぜ重要か
どれだけ良い記事を書いても、クローラーが訪れて内容を読み取らなければ検索結果に出ることはありません。サイト構造をシンプルにする・robots.txt で誤ってブロックしない・sitemap.xml で存在を知らせる、といった「クローラーへの配慮」がSEOの土台です。LLMO時代には ChatGPT などのAIクローラーへの対応も必要になります。
例・具体例
- robots.txt に
Disallow: /と書いてしまい、サイト全体がGoogleにインデックスされなくなった、というのはよくある事故。 - Google Search Console の「クロール統計情報」で、いつ・何ページ巡回されたかを確認できます。
初心者向けまとめ
- クローラー = 自動でWebを巡回するプログラム
- 巡回されない=検索結果に出ない
- robots.txt と sitemap.xml で誘導する
関連用語
もっと詳しく
関連用語
- アンカーテキスト
アンカーテキストとは、リンクとして表示される文字列のこと。「こちら」より「SEOの基本ガイド」のように内容が伝わるテキストにすることで、SEO・ユーザビリティの両面で価値が上がります。
- インデックス
インデックスとは、クローラーが集めたページをGoogleがデータベースに登録すること。インデックスされて初めて検索結果に表示される対象になります。「索引」とイメージすると分かりやすい用語です。
- hreflang
hreflangとは、多言語サイトで「このページは何語版か」「他の言語版はどこにあるか」を検索エンジンに伝えるタグ。日本人には日本語版、英語ユーザーには英語版を表示するために使います。
- SEM（検索エンジンマーケティング）
SEMとは「Search Engine Marketing」の略で、検索エンジンを使った集客活動全般を指す広い概念です。SEO（自然検索対策）と検索広告（リスティング広告）の両方を含みます。