llms.txtとは？AIクローラー向け新標準

<!-- rewrite-v2 -->

llms.txtとは？AIクローラー向け新標準

この結論: llms.txtはサイトのトップに置くMarkdownファイルで、AIクローラーに「サイトの全体像と主要URLを伝える」役割があります。2024年9月提唱、2025年から大手サイトが採用を開始しました。

最終更新日: 2026-05-05

はじめに

「llms.txtって何？」「robots.txtとは違うの？」「設置すべき？」という疑問に答える記事です。LLMOの新標準として注目されるllms.txtの全体像を、Answer.AI公式情報をベースに解説します。本記事では、仕様の正式な定義、実装手順、業界別のサンプル、効果計測、失敗事例、そして公式採用事例までを一気通貫で扱います。読み終えたあとに「自社サイトでも今日から書き始められる」状態になることをゴールにしています。

→ 詳しくはLLMOとは？AI検索時代の新SEO【完全入門】

llms.txtとは

llms.txtは、Webサイトのルート（/llms.txt）に配置するMarkdown形式のファイルです。AIクローラー・LLMがサイトを効率的に理解できるよう、サイトの要約・主要コンテンツのインデックスを記述します。

2024年9月、AnswerDotAI（Jeremy Howard氏）がllmstxt.orgで提唱しました。当時はあくまで一研究者の提案でしたが、2025年に入りAnthropic・Stripe・Cloudflare・Vercelといった大手が次々と採用したことで、事実上の業界標準として一気に普及しました。2026年5月現在、開発者向けドキュメントを持つ企業の多くが「公式サイト/llms.txt」を公開しています。

正式仕様（llmstxt.org）の中身

llmstxt.org が定義するファイル仕様は、ごくシンプルに以下の4要素で構成されます。

仕様としては「Markdownの素直なサブセット」であり、独自タグも独自属性もありません。ゆえに人間が手書きでも、CMSが自動生成しても破綻しにくい設計になっています。

→ 詳しくはsitemap.xmlとrobots.txtの役割と作り方

なぜllms.txtが必要なのか

LLMはWebページをそのまま読み込めますが、次の課題があります。

1. コンテキストウィンドウ制限: LLMは一度に処理できるトークン数に上限がある
2. HTMLノイズ: ナビゲーション、広告、装飾HTMLが混ざる
3. 重要ページの判別困難: クローラーが「何が主要コンテンツか」を判断しにくい
4. JavaScriptレンダリング問題: SPAでは本文がHTMLに直接書かれず取得できない場合がある
5. 更新検知の遅延: AIクローラーは検索エンジンほど高頻度に巡回しない

llms.txtは、これらの課題に対する「サイトオーナーからAIへのガイド」として機能します。要するに、AIに対して「うちのサイトを理解したいなら、まずこのファイルを読めば全体像が掴めますよ」と一行で示す案内板です。

robots.txt、sitemap.xmlとの違い

3者は競合せず、補完関係です。robots.txtは「入っていいか」、sitemap.xmlは「どこにあるか」、llms.txtは「何が大事か」を伝える役割分担と覚えると整理しやすいです。

→ 詳しくはsitemap.xmlとrobots.txtの役割と作り方

llms.txtの基本構造

llms.txtはMarkdown形式で、次の構造を持ちます。

# サイト名

> サイトの1〜2文の要約

## カテゴリ1（例：ドキュメント）

- [ページタイトル](URL): 1〜2文の説明
- [ページタイトル](URL): 1〜2文の説明

## カテゴリ2（例：ブログ）

- [記事タイトル](URL): 概要

## Optional

- [補助情報](URL): 説明

「Optional」セクションは、LLMが容量制限時にスキップしてよい情報を示すために使います。LLMは限られたコンテキスト枠で記事を読み込むため、「メインで読んでほしいもの」と「あれば嬉しいもの」を分けてあげるのが親切設計です。

実装例：本サイトの場合

# LLMO Tool

> SEOとLLMOを学べる初心者向けメディア。Google検索とChatGPT・Perplexity・AI Overview対策を体系的に解説します。

## SEO基礎

- [SEOとは？初心者向け完全ガイド](https://example.com/articles/seo-basics-complete-guide): SEOの全体像と2026年最新動向
- [検索エンジンの仕組み](https://example.com/articles/how-search-engines-work): クロール・インデックス・ランキングの解説
- [E-E-A-Tとは？](https://example.com/articles/eeat-explained): Google品質評価ガイドラインの解説

## LLMO基礎

- [LLMOとは？](https://example.com/articles/llmo-complete-guide): AI検索時代の新SEO完全入門
- [SEOとLLMOの違い](https://example.com/articles/seo-vs-llmo-difference): 両者の比較

## Optional

- [著者プロフィール](https://example.com/about): 編集部紹介

業界別サンプル

実装は業種ごとにベストプラクティスが異なります。代表的な4業種でテンプレートを示します。

BtoB SaaS

# Acme CRM

> 中小企業向けCRM。リード管理・営業自動化・売上分析を1つに統合。

## 製品概要

- [機能一覧](https://example.com/features): 全機能のサマリ
- [料金プラン](https://example.com/pricing): プラン比較表
- [導入事例](https://example.com/cases): 業界別ケーススタディ

## ドキュメント

- [API リファレンス](https://example.com/docs/api): REST/GraphQL API
- [導入ガイド](https://example.com/docs/setup): 初期設定の手順

## Optional

- [採用情報](https://example.com/careers): 募集職種

ECサイト

# Acme Store

> 国産オーガニック食品の専門EC。北海道直送の野菜と無添加調味料を販売。

## カテゴリ

- [野菜](https://example.com/veg): 季節の旬野菜
- [調味料](https://example.com/seasoning): 無添加味噌・醤油

## 会社情報

- [会社概要](https://example.com/about): 運営会社・代理店一覧
- [配送・返品](https://example.com/shipping): 配送条件と返品規約

メディアサイト

# Acme News

> 最新テック動向を解説する独立系メディア。AI・Web3・SaaS分野を毎日更新。

## ピラー記事

- [AI最新動向2026](https://example.com/ai-2026): 業界全体のロードマップ
- [Web3規制まとめ](https://example.com/web3-regulation): 国別の最新法規

## 連載

- [週刊AIニュース](https://example.com/weekly-ai): 毎週月曜更新

ローカルビジネス

# Acme Cafe Tokyo

> 東京・三軒茶屋のスペシャルティコーヒー専門店。自家焙煎の浅煎り豆を提供。

## 店舗情報

- [営業時間とアクセス](https://example.com/access): 三軒茶屋駅徒歩5分
- [メニュー](https://example.com/menu): コーヒー・フード一覧
- [予約](https://example.com/booking): WEB予約フォーム

→ 詳しくはLLM向けに最適化された文章構造

llms-full.txtとの違い

llms.txtの拡張として llms-full.txt があります。これは「主要ページのMarkdown全文を1ファイルにまとめたもの」で、LLMが追加クロールなしで全コンテンツを把握できる利点があります。

llms.txt        → サイト全体のインデックス（軽量）
llms-full.txt   → 主要記事の本文をまとめた全文ファイル（重い）

ドキュメントサイトやAPIリファレンスサイトで採用が進んでいます。

ポイント: llms-full.txtは数MBになることもあります。容量を抑えるため、ヘッダー・フッター・装飾を除いた純粋なコンテンツだけを含めます。

両者は択一ではなく併設するケースが増えています。Anthropic、Stripe、Vercelはどちらも公開しています。

採用事例（2025〜2026年）

llms.txtを早期採用した代表的なサイト：

• Anthropic（docs.anthropic.com）
• Cloudflare（cloudflare.com）
• Mintlify（mintlify.com）
• Cursor（cursor.com）
• LangChain（langchain.com）
• Vercel（vercel.com）
• Stripe（docs.stripe.com）

ドキュメントを持つ技術系サイトを中心に、2025年中に採用が広がりました。なお Anthropic と Stripe は llms-full.txt も同時に提供しており、API リファレンス全文を 1 ファイルで配布する運用に踏み切っています。これは「うちのドキュメントは AI がそのまま読み込んで参照していい」という意思表示でもあります。

→ 詳しくはブランドメンションとLLMO

設置方法

ステップ1：ファイル作成

Markdownエディタやテキストエディタで llms.txt を作成します。最初は5〜10個の主要URLから始めれば十分です。

ステップ2：ルートに配置

サーバーのルート直下に配置します。

https://example.com/llms.txt

Next.js の場合は public/llms.txt、Astro なら public/llms.txt、WordPress なら FTP もしくはプラグイン経由でルートに配置します。

ステップ3：アクセス確認

ブラウザで直接URLを開いて表示されることを確認します。Content-Type: text/plain; charset=utf-8 または text/markdown で返ることが望ましいです。

ステップ4：自動生成の検討

WordPressやドキュメント生成ツール（Mintlify、Docusaurus等）では自動生成プラグインが登場しています。記事数が増えてきたら手書き運用を捨て、ビルド時に自動生成する仕組みに切り替えるのが現実的です。

ステップ5：sitemap.xmlとの相互参照

任意ですが、llms.txt の最後に ## Optional として sitemap.xml の URL を含めておくと、AI が網羅クロールに移行する際の手がかりになります。

→ 詳しくはGoogle AI Overview対策

メンテナンスフロー

llms.txt は「設置したら終わり」ではなく、サイトの成長に合わせて更新するファイルです。実務では月次サイクルが現実的です。

更新されない llms.txt は逆に「古いサイト」と判定される可能性があります。Last-Modified ヘッダもきちんと反映させ、ビルド日時を埋め込んでおくのがおすすめです。

SEO/LLMOへの効果

llms.txtの直接的なSEO効果は確認されていませんが、次の効果が期待できます。

• AIクローラーの効率向上
• 主要コンテンツの誤解釈防止
• ChatGPT、Claude、Perplexity等での引用率向上
• ブランド情報の正確な伝達
• ChatGPT Searchでの検出時の説明文として活用される
• AI Overviewにおけるブランド名の正確な認識

ただし「設置すれば即効果」というものではなく、コンテンツ自体の品質が前提です。

→ 詳しくはSEOとLLMOのハイブリッド戦略

効果測定のやり方

llms.txt は直接的なランキングシグナルではないため、効果計測は間接指標で行います。

llms.txt 単独で大きな効果が出るわけではなく、全体の LLMO 施策の一部 として位置づけるのが現実的です。AI クローラーのアクセスログを観察するだけでも「自社サイトがどの AI に読まれているか」が可視化され、戦略立案の足がかりになります。

→ 詳しくはChatGPTで引用される記事の書き方

失敗事例とNGパターン

公開直後に「効果がない」と感じる原因の多くは、ファイルの作り方そのものに起因します。実際にあった失敗パターンを整理します。

特に「全URLを羅列」と「古いURL放置」は致命傷になりやすいので、月1の点検を習慣にしてください。

→ 詳しくはE-E-A-TとLLMO

llms.txtを使うべきサイト

特に効果が大きいサイト：

• ドキュメントサイト
• APIリファレンス
• 技術ブログ
• ナレッジベース
• 大規模メディア
• BtoB SaaS の機能紹介ページ
• 学術機関や公的機関のリソースアーカイブ

逆にECサイトや小規模ブログでは、優先度は低めです。とはいえコストが小さい施策なので、トップ階層10URL程度の最小構成だけでも導入しておくと「ブランドメンション」を取りこぼしにくくなります。

llms.txt の実装手順

Step 1: サイト構造の整理

/llms.txt に列挙する主要 URL を選定。トップページ、主要カテゴリ、ピラー記事、運営者情報、利用規約あたりが基本セットです。

Step 2: ファイル作成

public/llms.txt（Next.js の場合）または ルートディレクトリに配置。

# サイト名

> サイトの一行サマリ（150字以内）

## メインコンテンツ

- [タイトル1](https://example.com/page1): 1行説明
- [タイトル2](https://example.com/page2): 1行説明

## 著者・運営

- [運営者情報](https://example.com/about): 1行説明
- [著者一覧](https://example.com/authors): 1行説明

## 詳細ガイド

- [ピラー記事1](https://example.com/pillar1): 1行説明
- [ピラー記事2](https://example.com/pillar2): 1行説明

Step 3: 設置と検証

https://yoursite.com/llms.txt で 200 OK が返ることを確認。robots.txt 内で言及はオプションです（Sitemap のような明示は不要）。

Step 4: 月次更新

新規記事追加・記事削除に合わせて月1回更新。古い情報は逆効果です。

Step 5: AI ボットアクセス監視

GPTBot・ClaudeBot・PerplexityBot のアクセスログを監視。一切来ない場合は llms.txt の URL 構造を疑い、来ているのに引用されない場合は本文側の構造化を疑います。

llms-full.txt との使い分け

公式仕様（llmstxt.org）には llms.txt（インデックス）と llms-full.txt（全文）の2種類があります。

llms-full.txt まで実装すると、AI が学習・参照しやすくなりますがファイルサイズが大きくなるため、サイト規模に応じて判断します。社外秘ドキュメントや有料記事は当然含めず、「公開してよい資産」だけに絞ります。

採用状況（2026年5月時点）

主要採用サイト：

• Anthropic
• Vercel
• Cloudflare
• Stripe

開発者・テックメディア中心に採用が広がっています。日本語サイトの採用例は限定的ですが、先行投資の価値はあります。日本国内では2026年に入り、freee・SmartHR・LayerXなど開発者向けドキュメントを公開している SaaS 各社が相次いで対応を発表しました。

自動生成のサンプル実装

手書き運用を続けると更新漏れが発生しやすくなります。Next.js / Astro / Hugo / WordPress いずれの環境でも、ビルド時にサイトのメタ情報から自動生成する仕組みを組んでおくのが現実的です。

Next.js (App Router)

Next.js では app/llms.txt/route.ts を作り、記事データから動的に生成します。MDX の frontmatter から title・slug・description を集約し、カテゴリごとに H2 として並べ、最後に Optional セクションを追加するのが定番パターンです。ビルド時に revalidate を週次に設定しておけば、本文更新と同期して自動再生成されます。

WordPress

WordPress では「Yoast SEO」「Rank Math」が 2026 年 Q1 から llms.txt 自動生成オプションを提供しています。優先度の高いカスタム投稿タイプを指定し、カテゴリごとに main / optional に振り分けるだけで運用できます。プラグインに頼らず実装したい場合は、テーマ functions.php に init フックを追加し、WP_Query で記事一覧を取得してファイル書き出しする処理を仕込みます。

Hugo / Astro / Docusaurus

静的サイトジェネレータ系では「ビルド時生成」が定石です。Astro なら src/pages/llms.txt.ts で getCollection('articles') の結果を整形すれば、デプロイのたびに最新の llms.txt が生成されます。Docusaurus は公式プラグイン @docusaurus/plugin-llms-txt が用意されており、設定ファイル数行で対応可能です。

→ 詳しくはLLM向けに最適化された文章構造

llms.txt 設置後にやるべき周辺対策

llms.txt はあくまで入り口の案内板です。本当に AI に正しく引用されるためには、本文側の構造化と E-E-A-T シグナルが揃っていることが前提となります。

特に「ブランドメンション」と「構造化された本文」は llms.txt と組み合わせると相乗効果が大きく、AI Overview や ChatGPT Search における可視性に直結します。

→ 詳しくはブランドメンションとLLMO

関連標準（robots.txt / sitemap.xml）との位置関係

llms.txt は「robots.txt や sitemap.xml の代替」ではなく、明確に役割が違います。3つを併設することで、サイト側はクローラーに対する説明責任を最大化できます。

llms.txt は「ナビゲーション付きの目次」、sitemap.xml は「全ページの住所録」、robots.txt は「立入禁止札」と表現すると違いが明確になります。

llms.txt が解決しないこと

最後に、llms.txt に過度な期待をしないために、解決しない領域も整理しておきます。第一に、本文の品質や独自性は llms.txt では補えません。AI が引用するかどうかは結局のところ本文の有用性に依存します。第二に、有料コンテンツや会員限定領域へのアクセス権を変えることはできません。AI クローラーは llms.txt に書かれていても、認証が必要な URL は読めません。第三に、ランキングシグナルとしての効果は確認されていません。Google もまだ llms.txt を検索ランキングに使っているとは公表していません。あくまで AI クローラー向けの「サイト案内板」であり、SEO 全体を置き換えるものではない、という前提を共有しておくと判断を誤らずに済みます。

→ 詳しくはSEOとLLMOのハイブリッド戦略

公式採用事例の中身を読む

採用各社の実物を比較すると、設計思想の違いが見えてきます。たとえば Anthropic は「ドキュメントの全カテゴリを網羅する辞書型」、Stripe は「API リファレンスを最優先したフラット型」、Vercel は「製品紹介とドキュメントを並列配置するハイブリッド型」と、それぞれサイトの戦略が反映されています。自社の llms.txt を設計するときは、最も近い業態の採用事例を 2〜3 件ダウンロードして、見出し構成と1行説明のトーンを参考にすると失敗しません。

特に学べる点は次の3つです。第一に、説明文は必ず1〜2文で完結させる短文主義が共通していること。第二に、「いま読んでも価値がある資産」だけを掲載し、ニュースリリースのようなフロー情報は除外していること。第三に、トップに必ずサイト全体のミッションを書き、AI に「どの分野の権威か」を一行で示していることです。これは LLMO で重視されるエンティティ確立の手法そのものです。

→ 詳しくはPerplexity 向けSEO実践ガイド

llms.txt 運用チェックリスト

実装から本番運用まで、抜け漏れを防ぐためのチェックリストを共有します。導入時はもちろん、月次レビューでも同じリストを使い回せます。

このチェックリストを CI に組み込み、URL の HTTP ステータスとファイルサイズを自動チェックする運用にすると、メンテナンスコストを大きく下げられます。

→ 詳しくはE-E-A-TとLLMO

よくある質問

Q1. llms.txtは公式に標準化されていますか？

A. 2026年5月時点ではAnswer.AIが提唱した非公式仕様です。ただし主要AI企業（Anthropic、OpenAI等）が採用しているため事実上の標準になりつつあります。IETFでの標準化プロセスは始まっていませんが、llmstxt.org の仕様自体が安定しているため、当面は現行仕様に従って問題ありません。

Q2. llms.txtを設置するとAIから流入が増えますか？

A. 直接的な流入増加は期待できません。あくまで「正確に認識される」ための施策です。ただし、ChatGPT Search や Perplexity の引用元として表示される確率は実測で改善する事例が報告されています。

Q3. robots.txtでAllowしているのにllms.txtで除外できますか？

A. llms.txt自体にクロール拒否機能はありません。クロール制御はrobots.txtで行います。逆に、robots.txt で禁止している URL を llms.txt に列挙すると矛盾シグナルになり、AI 側が混乱します。

Q4. llms.txtの更新頻度は？

A. サイト構造が変わった時、主要記事を追加した時。月1回程度の見直しが目安です。週次以上の更新は過剰で、AI クローラーの巡回頻度に合いません。

Q5. WordPress でも対応できますか？

A. はい。テーマの functions.php でルートにファイルを書き出す方法、もしくは「Yoast SEO」「Rank Math」などのプラグイン経由で自動生成する方法があります。記事数が多い場合はプラグイン併用が現実的です。

Q6. ファイル名は llms.txt 一択ですか？大文字や複数形は？

A. 仕様上は llms.txt（小文字・複数形）で固定です。LLMs.txt や llm.txt では認識されません。Anthropic も Stripe も Vercel もすべて小文字 llms.txt で統一しています。

Q7. 日本語サイトでも英語の説明文を書くべきですか？

A. 日本語サイトなら日本語で問題ありません。LLM は多言語対応しているため、サイトの主言語に合わせるのが基本です。むしろ無理に英語化すると「サイト本体は日本語、llms.txt だけ英語」というちぐはぐな印象を与え、AI 側の言語判定が揺れる可能性があります。

関連用語

• llms.txt
• robots.txt
• sitemap.xml
• LLMO
• LLM
• SEO
• AI Overview
• ChatGPT Search
• Perplexity
• ブランドメンション

関連記事

• LLMOとは？AI検索時代の新SEO【完全入門】
• sitemap.xmlとrobots.txtの役割と作り方
• SEOとLLMOのハイブリッド戦略
• ChatGPTで引用される記事の書き方
• Perplexity 向けSEO実践ガイド
• Google AI Overview対策
• LLM向けに最適化された文章構造
• ブランドメンションとLLMO
• E-E-A-TとLLMO

参考文献・出典

• llms.txt 公式仕様 — Answer.AI公式
• Anthropic Docs llms.txt — 採用事例
• Stripe Docs llms.txt — 採用事例
• Vercel llms.txt — 採用事例
• Mintlify — llms.txt support — ドキュメント生成での対応
• Jeremy Howard — llms.txt proposal — 提唱者公式
• OpenAI — GPTBot ドキュメント