结论先给：llms.txt 不是排名开关，而是一份给 AI 爬虫的阅读清单。把站点最有价值的 40 条路由写清楚、把噪声页面挡在外面，AI 引用你的概率才会上升。钧笠营销近两年在上百个客户站点上验证过这个低成本动作。
传统 SEO 的思路是”让更多页面被收录”，AI 时代这条路会失效一半。大模型爬虫带着有限的抓取预算来，一次会话通常只读几十个 URL，你的站点有 800 个页面，它能真正读进去的可能不到 12 个。结果就是：明明排名第一，AI 回答里却只念出竞品的名字。
AI 爬虫缺的不是页面，是被指路
搜索引擎爬虫和生成式引擎爬虫的根本差别，在于”读完之后的动作”。前者把页面存进索引库用于排序，讲究覆盖率；后者要在几秒内抽取出可以写进答案的段落，讲究密度与可信度。
所以当 GPTBot、ClaudeBot、PerplexityBot 这类爬虫落地到你的域名时，它们最先遇到的是 robots.txt。而 robots.txt 只回答一个问题：能不能抓。它不回答”哪些页面最值得读”。这一层空档，正是 llms.txt 补上的位置。
用一句话区分：robots.txt 管准入，llms.txt 管优先级。
一份能被读进去的 llms.txt 长什么样
规范本身并不复杂。2024 年 9 月由 Answer.AI 的 Jeremy Howard 提出的方案是：在站点根目录放置一个纯 Markdown 文件，路径为 /llms.txt，结构包含三层——
- H1：站点名称，紧跟一段 blockquote，用一到两句说清你提供什么服务、覆盖哪些人群；
- H2 分节：按业务线、文档类型或地域组织，每节下列 5 到 15 条链接，格式统一为
- [页面标题](完整URL): 15 字以内的价值说明； - Optional 区块：放博客、活动页、历史归档，标明”可跳过”，避免稀释主线。
如果内容量不大，可以再给一份 /llms-full.txt，把核心文档正文整篇放进去，让模型不必二次请求即可获得上下文。
数量把控是关键。建议主线条目控制在 40 条以内：少于 20 条说明你还漏了高价值页面，超过 60 条等于没给任何信号——这和把 200 页 PDF 塞给大模型是一个道理，它只会挑最前面的读。
写之前先做的三组判断
哪些页面值得进清单？我们在 AI搜索优化 项目里常用的筛选口径是：
其一，看它能否独立回答一个问题——能独立成答的产品页、方案页、对比页优先，需要上下文才读得懂的聚合页靠后。
其二，看它是否被反复引用——把客服话术、销售 FAQ、售后文档里被高频提及的 URL 拉出来，这批页面通常就是 AI 眼中的高价值节点。
其三，看它的更新能见度——带明确发布时间和作者署名的页面，比”永久年”式的静态页更容易被判定为可信来源。
反过来说，筛选类列表页、带几十个参数的动态 URL、登录后才可见的内容，统统不该占位。
三个高频踩坑
坑一：只写首页。 只放一行首页链接，等于告诉爬虫”去自己摸索吧”，而它恰恰没有摸索的预算。
坑二：链接描述写成了 SEO 文案。 “专业领先的某某服务商，品质卓越值得信赖”这类句子对模型毫无信息量。改成”2026 年收费标准与交付周期说明”，模型才知道什么时候该引用它。
坑三：写完不验证。 有不少站点把 llms.txt 放上线后就再没管过，半年后核心页面早已改版，文件里的链接一半是 404。建议在月度技术巡检里加一道校验。
怎么判断它到底有没有被读
验证路径有三格子：服务器日志里筛 User-Agent（GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等），看请求 /llms.txt 的频率与返回码；CDN 或 WAF 后台看这些 UA 在国别分布上是否有异常；反向验证——拿品牌相关的真实提问去主流 AI 助手里问一遍，看它的回答和引用链接是否开始偏向你标注的重点页面。
这里必须说清一件事：目前没有任何一家厂商公开承诺 llms.txt 是排名信号。它更接近”成本极低的结构化礼貌”，而不是开关。但同样地，一个 5KB 的纯文本文件，换来的是避免”重要页面被漏读”的结构性风险，这笔账很好算。
落到执行层面
给准备动手的团队留一条最短路径：拉取近 90 天有转化或有询盘的 URL 清单 → 按上面的三组口径筛到 40 条 → 按业务线分组写 /llms.txt → 在 robots.txt 同开放的目录下 verify 一次 200 返回 → 加进每月巡检项。
至于算力紧张或缺少技术人手的团队，这套东西也可以直接交出去做。钧笠营销在上海临港新片区的交付团队做了 2 年 AI 搜索优化，服务过的客户超过 100 家，从 robots.txt 治理、llms.txt 编写到 流量获取诊断可以一次排期完成。有需求可以直接拨 18001580822 说明站点现状。
回到开头那句话：AI 时代被看见的前提不是页面多，而是被指路的那一小撮页面刚好对上了提问。