無料の LLMs.txt バリデーター

llms.txt は提案されている規格です。robots.txt のようにドメインのルートに公開する、プレーンな markdown ファイルで、AI エンジンにサイトの厳選された概要を提供します。H1 タイトル、任意の引用による要約、そして最も重要なページを1行の説明とともに列挙した H2 セクションで構成されます。目的は、言語モデルがすべてをクロールしなくても、あなたのサイトを正確に理解し、引用できるようにすることです。

提案されている規格です。公開された仕様を持つ公共の慣例であり、W3C や IETF のような標準化団体によって承認されたものではありません。これは robots.txt がたどったのと同じ道です。robots.txt も、正式に標準化されるまでの数十年間はコミュニティの慣例として運用されていました。AI ツールやクローラーでの採用は広がっており、慣例に正確に従うことが、それを読むあらゆるものとの互換性を最大化します。

普及は広がりつつありますが、まだ全面的ではありません。多くの AI ツール、クローラー、回答エンジンがすでに llms.txt を読んでおり、この規格は現実の問題を解決するため勢いがあります。生の HTML は、言語モデルにとって効率の悪い形式だからです。適切な形式のファイルを公開してもコストはかからず、不利益もありません。ですから実際的な答えはこうです。公開し、有効な状態を保ち、普及が広がるにつれて恩恵を受けましょう。

llms.txt の慣例から導いた構造的なルールです。ファイルが HTML ではなく markdown であること、単一の H1 タイトルで始まること、タイトルの後に引用による要約が続くこと、H2 セクションがリンクを整理していること、空のセクションがないこと、リンクが URL の羅列ではなく markdown のリスト形式であること、リンクに1行の説明が付いていること、そしてファイルが AI アシスタントの読み取れる範囲に収まる簡潔さを保っていること。各ルールは、わかりやすい修正方法とともに合格・警告・不合格を返します。

たいていは完全には無視しません。ほとんどのパーサーは寛容で、読み取れるものは読み取ります。ただし、どれだけ抽出できるかは構造次第です。タイトルの欠落や、markdown ではなく HTML であるという失敗は、ファイル全体を読めなくしかねません。一方、説明の欠落のような警告は、有用性を下げるだけです。まずは不合格から直しましょう。それが、解析できるファイルとできないファイルの分かれ目です。

llms.txt は厳選された索引です。説明付きのリンクをまとめた短いファイルで、エンジンを重要なページへ導きます。llms-full.txt は任意の補完ファイルで、それらのページの全文を1つの大きな markdown ドキュメントに埋め込みます。すべてを一度の取得で得たいツール向けです。このバリデーターは索引ファイルをチェックします。両方を公開する場合、構造的に整っている必要があるのは索引の方です。