無料ツール / Phase 1(社内デモ)
AIに読んでもらえる状態か、いま確認する
AIの回答に出てくるかどうかの前に、そもそもAIがサイトを読める状態かという土台があります。 ここでは llms.txt・構造化データ(JSON-LD)・ AIクローラ6種の許可状況の3点を、公開情報だけで判定します。 AIには一切問い合わせません(判定は一意に決まり、実行のたびに結果が揺れません)。
※ このチェッカーは現在、公開の準備中です。判定ロジックと安全対策の検証を進めています。
ドメインを入れて「診断する」を押してください。1回の診断で対象サイトへ最大9リクエストします。
何をどう見ているか
- robots.txt を取得し、User-agent ごとのルール群に分解します。
連続する User-agent 行は同じルール群を共有するものとして扱い、Allow / Disallow は
最長一致で判定します(同じ長さなら Allow を優先)。
そのクローラを名指しした User-agent 行がある場合は「意図して許可」、無い場合は
User-agent: *のルールを適用して「暫定許可(未設定)」と表示します。 「暫定許可」は、そのAIについて何も設定されておらず、全体向けの設定で 結果的に通っている状態を指します。サイト側が判断した結果ではないため、User-agent: *に後から Disallow が加わると巻き添えで遮断されます。 robots.txt が存在しない場合も「暫定許可(未設定)」です (適用できるルールが無いときは許可と判定するため)。 - llms.txt(
/llms.txt)を取得し、200番台で返るかとバイト数を記録します。 - トップページのHTMLを取得し、
application/ld+jsonのブロックだけを抜き出して JSONとして解析、入れ子も含めて@typeを再帰的に集めます。解析に失敗したブロック数も数えます。 - 6クローラそれぞれのUser-Agentを名乗ってトップページを取得し、返ってきたHTTPステータスを記録します。 401・403・429 はブロックとみなします。
判定対象のクローラは GPTBot(ChatGPT 学習)、OAI-SearchBot(ChatGPT 検索)、ClaudeBot(Claude)、PerplexityBot(Perplexity)、Google-Extended(Gemini 学習)、Bingbot(Copilot / Bing) の6種です。
GPTBot— OpenAI が学習データ収集に使うクローラOAI-SearchBot— ChatGPT が検索して回答を作るときに来るクローラClaudeBot— Anthropic の Claude が使うクローラPerplexityBot— 出典リンク付きで回答する Perplexity のクローラGoogle-Extended— Google の生成AI(Gemini)向けの利用可否を制御するトークンBingbot— Microsoft Copilot の回答の土台になるインデックス
取得時のUser-Agentは AppearuFoundationChecker/1.0 (+https://appearu.com/) です(実アクセス確認の6本を除く)。
取得するパスは /・/robots.txt・/llms.txt に固定しており、任意のパスは受け付けません。