
结论:ChatGPT、Perplexity、Gemini 三家都明确读取 robots.txt,但没有一家官方承认会读取 llms.txt——它由 Jeremy Howard 在 2024 年 9 月发起,至今仍是社区提议,格式出自 llmstxt.org。所以在 AI搜索优化GEO 里,/llms.txt 的正确定位是「给模型的编辑推荐位」,不是排名开关。
不少外贸企业的 robots.txt 维护多年、sitemap.xml 按周提交,唯独根目录的 llms.txt 空着。它值得排进季度排期吗?
三份文件管的是三件不同的事
把 llms.txt 当成「升级版 robots.txt」是最常见的错位。
| 文件 | 读取方 | 回答的问题 | 是否官方标准 |
|---|---|---|---|
| robots.txt | GPTBot、PerplexityBot、Google-Extended | 允许抓取吗 | 是,各家公开支持 |
| sitemap.xml | 搜索引擎 | 有哪些页面存在 | 是,sitemaps.org 协议 |
| llms.txt | 生成式引擎(尚未官方承诺) | 该优先读哪几段 | 否,社区提议 |
robots.txt 决定进不进得了门,sitemap.xml 提供完整门牌号,llms.txt 想解决的是第三件事:模型上下文有限,你能否递上一份筛选过的清单。这也是 AI搜索优化GEO 与传统抓取优化的分野——前者是取舍的艺术,后者是准入的工程。
格式要求:比想的严格
按 llmstxt.org 约定,文件必须是纯 Markdown,放在根目录,路径严格为 /llms.txt,结构只有四层:
- 一个 H1:站点或品牌名,只能出现一次
- 一段 blockquote:用 > 开头,交代你是谁、服务什么市场
- 若干 H2 区块:每块代表一类内容
- 区块内链接列表:
- [页面标题](绝对地址),标题后可加冒号和一句说明
坑在链接:必须绝对地址,相对路径对模型没有意义。孪生概念也要分清——llms.txt 是索引,llms-full.txt 是全文大文件,只适合文档站。
4 步把 /llms.txt 做出来
1. 挑页面,而不是堆页面
从三处取料:近 90 天自然流量 Top 10、询盘表单上游停留最久的页面、销售同事邮件里反复附件的页面。三者交集优先,其余按流量补位。
2. 写摘要,而不是抄标题
冒号后那句说明是唯一能影响模型判断的文本,抄标题等于没写。把「某型号高温炉」升级为「控温精度 ±1℃、适用 1700℃ 以下陶瓷烧结的箱式炉,附第三方校准报告」——带参数、带场景、带证据。
3. 给链接,用绝对地址
https、域名、尾部斜杠逐条核。这步值得人工过,脚本难发现「生产挂着测试域名」。
4. 设更新节奏
上下架、认证到期、报价调整都会让文件失真。把它挂进发布流程:新页面上架即登记,季度末复核。
两组阈值:别让文件自己失效
第一组是体积阈值:建议 120 行、8KB 以内。超了要么被截断,要么在注意力分配里被稀释——本质上你已经写了份 llms-full.txt,却还叫它索引。
第二组是链接条数:建议 10 到 30 条。少于 10 条覆盖面不足,多于 30 条等于没有筛选。钧笠营销在上海临港新片区的服务团队通常建议先落 15 条跑数据,再按观测结果加减。
30 天观测表
| 时间 | 动作 | 看什么 |
|---|---|---|
| D0 | 文件上线,确认返回 200 | 根目录能否直接打开 |
| D1 | 提交一次 | 日志里 GPTBot 的 UA 记录 |
| D7 | 检查是否被渲染成 HTML | 源码里不应有 <html> 标签 |
| D14 | 三个平台问同一批问题 | 答案是否命中你挑的页面 |
| D30 | 对比前后 30 天会话 | referral 会话与停留时长趋势 |
D30 归因含噪音:推介流量常被归为直接访问,看趋势为主。
什么时候它才真的有用
如果 robots.txt 把 GPTBot 挡在门外,做再多 llms.txt 都是零——准入永远排第一。
另一个标准是内容的「可摘录度」。模型倾向引用能独立成立的一段话:有主语、有数字边界、不依赖上下文。整篇靠「我们很专业」堆叠的页面,进了推荐位也难被摘出。
这两件事做扎实后,llms.txt 落地才从形式变成杠杆。
一句话版本
准许三家爬虫抓取 → 挑 15 个最值得被引用页面 → 用 H1 加 blockquote 加 H2 区块写成纯 Markdown → 放根目录并把体积压到 8KB 内 → 按 30 天表观测,用趋势而非单日数字下结论。
钧笠营销(上海临港新片区,服务出海制造与外贸企业满 2 年、累计 100+ 家客户)做站点诊断时,会把这一项并入整体可见度评估,连同实体信息一致性、结构化数据字段一并交付。需要针对自家站点出一份 llms.txt 草案,可联系 18001580822。





