無料ページトークン インスペクター

これは、英語テキストでは1トークンあたりおよそ4文字という標準的な目安に基づく推定です。AIエンジンのトークナイザーが示す値の、およそ±10%以内に収まると考えてください。ページ同士の比較、肥大化の発見、コンテキストウィンドウへの収まり具合の判断といった、このツールが支える意思決定には十分な精度です。

コンテキストウィンドウとは、AIモデルが一度に検討できるテキストの最大量(トークンで測られます)のことです。今日一般的なサイズは128K、200K、1Mトークンです。あなたのページを含め、モデルが回答に使うすべてがその中に収まる必要があります。そのため、ウィンドウの消費が少ないページほど、エンジンが丸ごと使いやすくなります。

AIエンジンが読む前に、まさに同じことをするからです。HTMLのマークアップ、スクリプト、スタイル、隠れた要素は取り除かれ、残るのはエンジンが推論の対象とする抽出可能なテキストです。プレビューはまさにそのバージョンを示します。そこに重要なコンテンツが欠けていれば、エンジンもそのコンテンツを決して見ることはありません。

フォーカスワードとは、「the」や「with」のようなありふれた語を取り除いたあとで、ページ上に最も頻繁に現れる意味のある語のことです。エンジンの視点から見て、ページが話題として何について書かれているかを手早く把握するための代理指標になります。狙っているトピックが上位のフォーカスワードに現れていなければ、そのページはおそらく別の何かについて書かれていると読み取られています。

抽出可能なテキストがごくわずかなページは、回答を抽出できるだけの中身がないため、めったに引用されません。300語前後は現実的な下限です。それを下回るページはたいてい、内容の乏しいスタブ、リダイレクト用の抜け殻、あるいはコンテンツがHTMLに反映されなかったJavaScriptアプリです。いずれにせよ、情報源としては見えていません。

いいえ。目指すべきは、ミニマリズムではなくトークンあたりの中身です。定型文で水増しした50,000トークンのページは無駄ですが、200トークンのページには引用するものがありません。AI検索に最も強いページは、回答の形をした本物の情報を密度高く詰め込んでいます。信頼できる情報源になれるだけの深さがありながら、それを埋もれさせる肥大化がありません。