免费工具 · 无需注册

免费 Robots.txt 校验工具

输入你的域名，我们会抓取并检查你的 robots.txt：语法错误、屏蔽整站的规则、缺失的站点地图，还会用一张访问矩阵清楚地展示哪些 AI 和搜索爬虫能够访问你的内容。

什么是robots.txt 文件？

robots.txt 文件位于网站根目录，告诉爬虫哪些路径可以访问、哪些不可以。除了传统的搜索爬虫，它现在还管辖 GPTBot、PerplexityBot 等 AI 爬虫，因此一条配置错误的规则可能会悄无声息地把你的内容挡在 AI 搜索答案之外。

加载中…

免费 · 无限次检查 · 无需注册

What Meev is

An AI search visibility platform that turns tracking into action.

Meev tracks where your brand appears across ChatGPT, Claude, Gemini, Perplexity, Grok, DeepSeek, Google AI Overviews, and Google AI Mode — then shows what to fix, publish, or pitch next to improve AI visibility.

A walkthrough of the Meev dashboard. It shows an AI visibility score and per-engine mention counts across ChatGPT, Claude, Gemini, Perplexity, Grok, DeepSeek, and Google AI Overviews; a prioritized action plan of the next fixes to make; one-click article generation and publishing; and publisher outreach with auto-drafted pitches to earn AI citations.

Tracks every major AI search surfacePrioritizes next actionsPublishes quality-gated contentSupports WordPress, Ghost, Wix, and webhooks

Your domain

AI citation gaps

Competitor gaps

SERP openings

Trending signals

Topic planner

LISTICLETopic

HOW-TOTopic

EXPLAINERTopic

PROBLEMTopic

Real sources

Your knowledge

Links + schema

Writer

Draft

Quality gate

Passed

Held for review

WordPress

Ghost

Wix

Webhook

Sitemap → index

ChatGPT

Claude

Gemini

Perplexity

Grok

DeepSeek

AI Overviews

AI Mode

Citation Path

Theme map2 themes · 2 unlinked

Your published articles

Every major AI surface

Share of
AI answers6%

The path to getting cited

From an unanswered prompt to a cited brand

01 · Your domain

Start by analyzing your site

Meev reads your existing pages, topics, and Google Search Console signals to learn what your site is about and already ranks for: the foundation for every gap, draft, and citation that follows.

它的运作方式

第 1 步

输入你的域名

只需域名，我们会为你抓取 /robots.txt。

第 2 步

我们检查文件

游离的规则、未知指令、整站屏蔽、文件过大、缺失站点地图。

第 3 步

AI 爬虫矩阵

逐个爬虫显示允许或屏蔽：GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended、Googlebot、Bingbot。

第 4 步

放心地修复

每条判定都会说明实际后果，让你清楚该改什么、为什么改。

为什么重要

一行 robots.txt 就能把你从 AI 答案中抹去。

robots.txt 是每个爬虫读取的第一个文件，而守规矩的 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot）会严格遵守它。一行 disallow 规则（往往是从模板复制来的，或是测试环境遗留下来的）就能悄悄把你的整个网站从 ChatGPT、Claude 和 Perplexity 的答案中移除。不会有任何报错，你只是不再被引用。

屏蔽 Google-Extended 不等于屏蔽 Googlebot。

Google-Extended 是一个训练退出选项：屏蔽它可以让你的内容不被用于 Gemini 模型训练，同时完全不影响你的 Google 搜索排名。而屏蔽 Googlebot 会把你彻底从 Google 搜索中移除。网站经常把两者混为一谈，可它们的差别关乎你整个自然流量渠道。访问矩阵会分别显示每一条判定，让这个区别一目了然。

robots.txt 的错误不会报错，校验是发现它们的唯一办法。

爬虫不会把 robots.txt 的问题反馈给你。放在任何 User-agent 行之前的规则会被忽略，未知指令会被跳过，超过约 500KB 读取上限的内容永远不会被解析。这个文件在人看来可能完全合理，但对爬虫来说行为却截然不同。对照真实的爬虫行为进行检查，是唯一可靠的验证方式。

搭配 Meev

Meev 确保「可被抓取」真正变成「被引用」。

一个开放的 robots.txt 只是让爬虫进得了门，它并不能为你赢得引用。Meev 会自动发布专为 AI 引擎提取而构建的文章，并在各大 AI 搜索平台上跟踪你的品牌，让你看清你所授予的访问权限是否真正转化为可见度。

✓在你自己的域名上自动发布、可被引用的文章
✓在各大 AI 搜索平台上跟踪可见度
✓及时发现某次技术改动悄悄把你挤出了 AI 答案

开始 7 天免费试用 →

关于Robots.txt 校验工具的常见问题

我的网站没有 robots.txt，这有问题吗？⌄

单就这一点来说没有问题。没有 robots.txt 意味着所有爬虫都可以访问任何路径，这是一个完全有效的默认状态。不过你会失去两样东西：声明站点地图位置的能力，以及对 AI 训练爬虫的任何控制。大多数网站至少拥有一个包含 Sitemap 行的最简文件会更好。

访问矩阵会检查哪些 AI 爬虫？⌄

它会检查以下爬虫标识：GPTBot（ChatGPT 答案与训练）、OAI-SearchBot（ChatGPT 搜索引用）、ClaudeBot（Claude）、PerplexityBot（Perplexity）、Google-Extended（Gemini 训练退出）、Googlebot（Google 搜索），以及 Bingbot（Bing，其索引也为多个 AI 平台提供数据）。每一个都会得到各自的允许/屏蔽判定，并说明相应的后果。

GPTBot 和 OAI-SearchBot 有什么区别？⌄

GPTBot 为 ChatGPT 的答案和模型训练抓取内容；OAI-SearchBot 则是 ChatGPT 实时搜索引用背后的专用爬虫。它们是两个独立的标识，拥有各自独立的规则：你可以允许搜索引用，同时退出训练，反之亦然。两者都屏蔽，就会让你在 ChatGPT 中彻底隐形。

屏蔽 Google-Extended 会影响我的 Google 排名吗？⌄

不会。Google-Extended 只控制你的内容是否被用于 Gemini 的训练和事实依据，它对 Google 搜索的抓取、索引或排名没有任何影响。真正关乎搜索的标识是 Googlebot。这是 robots.txt 最常见的误解之一。

什么算错误，什么算警告？⌄

错误是那些会直接破坏抓取的规则：放在任何 User-agent 行之前的指令（爬虫会忽略它们），或者在通配符分组下出现整站的 Disallow: /。警告则是那些不会破坏什么、但会让你错失机会的问题：未知指令、缺失 Sitemap 行，或者文件大到爬虫会停止读取。

爬虫是如何判断哪些规则适用于自己的？⌄

每个爬虫都会寻找 User-agent 值与自身标识匹配得最精确的分组：一个精确的 GPTBot 分组优先于通配符（*）分组，而通配符分组只在没有专门分组时才生效。在匹配到的分组内，路径匹配最长的规则胜出，若长度相同则 Allow 优先于 Disallow。

别再一个页面一个页面地修复了。

Meev 跟踪你在各大 AI 搜索平台上的可见度，并自动发布通过质量把关、能够赢得引用的内容。

选择套餐浏览更多免费工具

7 天免费试用，随时可取消。