
先说结论:到 2026 年 10 月,ChatGPT、Google Gemini、Claude、Perplexity 四家都没有公开承认把 llms.txt 当作引用依据。OtterlyAI 的 90 天服务器日志里,6.2 万余次 AI 爬虫访问只有 84 次请求过 llms.txt,占比 0.1%。文件值得写,但它不是 AI 搜索优化里的排名开关。
llms.txt 归它管,还是你误会了它
它是根目录下一份 Markdown 清单,告诉 AI「如果只读我几页,读这几页」。很多人把它和另外三个技术文件混为一谈,上手就排错优先级。
| 文件 | 真正的作用 | 谁在读 | 有无实证 |
|---|---|---|---|
| robots.txt | 控制爬虫能否抓取某路径 | 几乎所有主流爬虫 | 机制明确 |
| sitemap.xml | 列出待收录的 URL | 谷歌、必应等引擎 | 影响发现与收录 |
| Schema 结构化数据 | 让机器读懂实体与事实 | 谷歌已确认使用 | 与 AI 摘要抽取相关 |
| llms.txt | 精选内容地图与说明 | 多为编码工具与小众 agent | 2026 年无平台确认 |
记一句:sitemap 求全,llms.txt 求准
三组数据,把期待值拉回地面
数据一,OtterlyAI 连续 90 天抓自家日志,AI bot 到访超过 62,100 次,仅 84 次请求 llms.txt,约 0.1%,不到普通内容页的三分之一。
数据二,Ahrefs 抽查 13.7 万个站点,97% 的 llms.txt 从未被 AI 爬虫读取。
数据三,谷歌搜索中心 2026 年 7 月更新的文档点名写明:不需要新建机器可读文件或 Markdown 来出现在谷歌搜索包括其生成式能力中,因为它不使用它们。谷歌自家文档平台曾自动生成过一个 llms.txt,当天即撤,John Mueller 被问及是否算背书时只回了一句:to be direct, no。
有人拿 Anthropic、OpenAI 自己也给开发者文档挂了 llms.txt(如 platform.claude.com/llms.txt)来反向证明。那是对自家产品读者做的便利设计,与它们的爬虫会不会读你那份同名文件,是两码事。
6 处写法错误
01 把它当排名因子
合理排位:可被抓取 → 正文可被摘录 → Schema → 外部品牌提及 → llms.txt。
02 robots.txt 把自己也挡在门外
「Disallow: /」会把根目录的 llms.txt 一起屏蔽。给 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 等 UA 放行时,务必确认它自身可读。
03 全站倾倒两百条链接
一份有用的 llms.txt 通常 20 到 50 行。堆满 URL 等于没给优先级信号。
04 描述写成宣传语
「我们的 GEO 文章」毫无信息量。写成「AI搜索优化GEO方法:含排名要素权重表与 llms.txt 写法」,模型才知道要不要引用。
05 不用 canonical 地址
短链、跳转链、会改的 slug 都会让引用落空,只填长期稳定的 URL。
06 上线后无人维护
过期文件比没有更糟,会把 agent 送去死链。按季度复核,大改后立即更新。
15 天验收清单
| 天数 | 动作 | 验收线 |
|---|---|---|
| 第 1–3 天 | 盘点 10–30 个最高价值页面并分组 | 含标题、URL、一句话说明 |
| 第 4–6 天 | 描述改写成「给模型判断用」的句式 | 每条含事实或数据 |
| 第 7–9 天 | 核对 robots.txt 对 AI UA 的放行 | 目标 UA 全部放行 |
| 第 10–12 天 | 上线,用 curl 验证状态码与类型 | 返回 200 |
| 第 13–15 天 | 日志过滤 llms.txt 请求 | 记录到具体 UA 与次数 |
真正决定你能不能被引用的是什么
是内容形态本身:答案先行的段落结构、可被整段摘录的统计与引语、清晰的 Schema 实体标记、站外第三方提及,以及让爬虫进得来的 robots.txt。这几项权重远高于一份根目录下的 Markdown。
换句话说,若目标是让 AI搜索优化GEO 真正带来询盘,预算要先花在能被摘走的内容单元上;若已在推进 AI搜索优化GEO服务 的重构,补一份 30 行的 llms.txt 只是顺手之举,成本接近零,放着也无害。
写,还是不写
开发者文档、API、SDK、SaaS 后台值得立刻写:Cursor、Copilot、Claude Code 会在开发者提问时取用它,少绕弯路也少烧 token。这是它目前唯一被证实的价值场景。
外贸独立站、本地服务商、纯内容站则往后排。把两周压在这份文件上,不如先改产品页。
钧笠营销位于上海临港新片区,过去 2 年为 100+ 家出海企业提供 GEO 与搜索可见性服务,联系电话 18001580822。我们的建议始终一致:先让内容可被摘录,再谈文件是否被读取。





