seo_basicsくろーらー

クローラー

クローラーとは、Web上のページを自動巡回してデータを集めるプログラムのこと。Googleの「Googlebot」が代表例で、これに見つけてもらわないと検索結果に表示されません。

クローラー

ひと言で: 世界中のWebページを24時間自動巡回しているロボットです。

クローラーとは

クローラー（Crawler）は、Webサイトを自動的に巡回してページの内容を読み取り、検索エンジンのデータベースに登録するためのプログラムです。「ボット（bot）」「スパイダー（spider）」とも呼ばれます。

代表的なクローラーは以下です。

Googlebot（Google）
Bingbot（Microsoft Bing）
GPTBot（OpenAI / ChatGPT用）
PerplexityBot（Perplexity）

クローラーはまずトップページを読み、そこから貼られているリンクをたどって次々と他のページを発見・取得していきます。これを「クロール（crawl = 這う）」と呼びます。

なぜ重要か

どれだけ良い記事を書いても、クローラーが訪れて内容を読み取らなければ検索結果に出ることはありません。サイト構造をシンプルにする・robots.txt で誤ってブロックしない・sitemap.xml で存在を知らせる、といった「クローラーへの配慮」がSEOの土台です。LLMO時代には ChatGPT などのAIクローラーへの対応も必要になります。

例・具体例

robots.txt に Disallow: / と書いてしまい、サイト全体がGoogleにインデックスされなくなった、というのはよくある事故。
Google Search Console の「クロール統計情報」で、いつ・何ページ巡回されたかを確認できます。

初心者向けまとめ

クローラー = 自動でWebを巡回するプログラム
巡回されない=検索結果に出ない
robots.txt と sitemap.xml で誘導する

もっと詳しく

関連用語

アンカーテキスト
アンカーテキストとは、リンクとして表示される文字列のこと。「こちら」より「SEOの基本ガイド」のように内容が伝わるテキストにすることで、SEO・ユーザビリティの両面で価値が上がります。
インデックス
インデックスとは、クローラーが集めたページをGoogleがデータベースに登録すること。インデックスされて初めて検索結果に表示される対象になります。「索引」とイメージすると分かりやすい用語です。
Ubersuggest
Ubersuggestは、Neil Patel 社が提供する SEO 分析ツール。キーワード調査・競合分析・被リンク調査・順位計測が一つのツールで完結し、無料プランと月額1,200円〜の有料プランがあります。
Ahrefs
Ahrefsは、シンガポール発の業界標準 SEO・被リンク分析ツール。世界最大規模の被リンクインデックスを持ち、競合分析・キーワード調査・サイト監査・コンテンツ分析を高精度で実行できます。月額99ドル〜。