llmo_aiとーくん

トークン

トークンとは、LLMが文章を処理する最小単位。「単語」より細かく、英語なら約4文字 = 1トークン、日本語なら1〜2文字 = 1トークンが目安。API料金もトークン単位で決まります。

トークン

ひと言で: AIが文章を扱う「最小単位」のこと。料金もここで決まります。

トークンとは

トークン（Token）は、LLMが文章を処理する際に分割する最小単位です。単語よりやや細かい区切りで、

英語: 約4文字 ≒ 1トークン（"hello" = 1トークン、"unbelievable" = 2〜3トークン）
日本語: 1〜2文字 ≒ 1トークン（漢字熟語などは1トークンになることも）

OpenAI・Anthropic・Googleなど主要LLMは、入力（プロンプト）と出力（回答）の両方をトークン単位で処理し、 APIの料金もトークン数で課金 されます。

なぜ重要か

LLMには「コンテキスト長（処理できるトークン数の上限）」があり、長い文章を入れると古い部分が忘れられたり処理しきれなかったりします（例: GPT-4は8K〜128Kトークン、Claudeは200K〜1Mトークン）。LLMO観点では コンテンツが適切な長さで意味のあるブロックに区切られているか が、AIに正しく理解・引用されるかに影響します。

例・具体例

「こんにちは、世界！」 ≒ 5〜7トークン
1000文字の日本語記事 ≒ 700〜1500トークン程度
OpenAIの公式トークナイザー（tiktoken / Tokenizer Tool）で正確に確認可能

初心者向けまとめ

トークン = LLMが扱う最小単位
日本語は1〜2文字で1トークン
API料金とコンテキスト長を決める基本単位

もっと詳しく

LLMO完全ガイド

関連用語

AISEO（AI SEO）
AISEOとは「AI SEO」の略で、Google などの伝統的検索エンジンと ChatGPT/Perplexity/Gemini など AI 検索の双方で評価・引用される包括的な検索最適化の総称。SEOとLLMOを統合した上位概念として使われます。
AIO（AI Optimization）
AIOとは「AI Optimization」の略で、AI 全般 (生成 AI チャット・音声アシスタント・画像生成・AI 検索) を対象にした包括的な最適化施策。AEO (Answer Engine Optimization) より広い概念です。
AI Overview（AIオーバービュー）
AI Overviewとは、Google検索結果の最上部にAI（Gemini）が要約回答を表示する機能。2024年5月から米国で本格導入され、2024年8月以降日本を含む各国に拡大。SEO/LLMOの最重要トピックです。
AEO（Answer Engine Optimization）
AEO（Answer Engine Optimization）とは、フィーチャードスニペット・音声検索・AI Overview・ChatGPT回答に選ばれるコンテンツに最適化する手法。SEO×LLMO両立の基本戦略を5ステップで解説します。