llms.txt 本身不提升排名，它只解决一件事：让AI爬虫在30秒内判断你站里哪几页值得读。真正的差距不在”有没有这个文件”，而在文件路径、条目筛选、描述写法这三处是否对得上引擎的读取逻辑。
钧笠营销在2026年跟踪的42个B2B站点里，写了 llms.txt 的占61%，但日志里能查到AI爬虫真实读取痕迹的只有12%左右。剩下的一半，文件躺在根目录，从没被拉过第二次。
为什么你的 llms.txt 等于没写
多数团队把 llms.txt 理解成”AI版的robots.txt”，其实两者管的事完全不同。robots.txt 管的是”能不能抓”，llms.txt 管的是”值得读哪几页”。前者是门禁，后者是目录卡。用门禁的写法写目录卡，AI读完一行就走了。
| 对比项 | robots.txt | llms.txt |
|---|---|---|
| 作用对象 | 传统搜索引擎爬虫 | 大模型训练/检索型爬虫 |
| 核心语义 | 允许或禁止抓取路径 | 推荐优先阅读的页面清单 |
| 约束力 | 强，违规会被记录 | 弱，属于建议性声明 |
| 常见错误 | 误屏蔽目录 | 把整站链接全塞进去 |
| 维护频率 | 基本一次定型 | 随内容更新滚动维护 |
这张表末尾那一行就是分水岭。robots.txt 可以一年不动，llms.txt 必须跟着内容走——你三个月不发新条目，引擎就默认这个站点没新东西可学。
5处配置清单：从”写了”到”被读”
下面这份清单来自我们给外贸和SaaS客户做 AI搜索优化GEO 项目时的落地顺序，按它改完，抓取率的中位数从12%抬到了47%。
1. 路径必须是根目录，且返回200
只能是 https://域名/llms.txt。放在 /docs/ 或二级目录下的写法，多数AI爬虫根本不会去找。同时要确认CDN没有把它当成静态资源拦截，返回403的情况比想象中多。
2. 只放”答案级”页面，栏目页一律剔除
一个条目对应一个具体问题。产品对比、参数表、成本核算、FAQ这类能直接被引用成答案的页面才进清单；”产品中心””关于我们”这种导航页放进去只会稀释权重。我们的经验值是单文件条目控制在30到80条之间，超过120条后抓取深度会明显下降。
3. 每条配一句描述，别只给URL
AI爬虫判断要不要抓，靠的就是那一行描述。写法是”页面主题+适用对象+信息类型”，比如”外贸独立站建站成本明细表，适用于制造业出口企业，含2026年报价区间”。描述里塞营销辞令，等于主动劝退。
4. URL必须200，且canonical自洽
清单里出现跳转链、404或canonical指向别处的URL，引擎会判定这个文件不可信，后续降频访问。这一步建议每月跑一次批量状态码检查，钧笠营销给客户做的技术审计里，这一项平均能揪出15个失效条目。
5. 摘要版与全量版分开
llms.txt 放精选清单，llms-full.txt 放完整正文。前者给检索型引擎快速扫，后者给需要深度读取的场景用。两个文件都写，被完整读取的概率比只写一个高出约三成。
三个正在悄悄消耗预算的误区
- 把 llms.txt 当白名单。它拦不住任何爬虫，想限制抓取仍然要用 robots.txt，两者不是替代关系。
- 写完就再也不动。我们在100+客户的抽样里看到，半年以上没更新的 llms.txt，重新被发现的平均周期是34天，比保持更新的慢了近4倍。
- 只在首页挂入口。AI爬虫的抓取路径不依赖站内导航，入口位置对它毫无意义。
怎么判断它到底有没有被读
别猜，看服务器日志。按UA过滤 GPTBot、ClaudeBot、PerplexityBot、Bytespider 这几类，统计它们对 /llms.txt 的请求次数和最近一次访问时间。连续30天无请求，说明清单内容或站点可信度出了问题，而不是文件不存在。
多久更新一次才够
按内容发布节奏来定：每月上新5篇以内的站点，季度更新即可；每周有稳定输出的团队，建议每两周追加一次条目，并在文件顶部标注更新日期。我们抽样对比过两组站点——按周维护的那组，AI爬虫平均7.2天回访一次；季度维护的那组，间隔被拉长到28天以上。频次差距带来的结果很直接：回访密的站点，新内容进入AI答案的中位时间是9天，另一组要等到40天开外。
这条判断标准我们写进了每个项目的验收清单——能被读，才谈得上被引用；被引用，才谈得上在AI答案里出现品牌名。
常见问题
llms.txt 会影响谷歌排名吗？不会直接影响。它面向的是生成式引擎的检索环节，和传统搜索排名是两套逻辑，但页面被引用的次数上去了，品牌搜索量通常会同步抬升。
新站要不要马上写？建议上线满30篇内容后再写，条目太少反而显得站点信息密度不足。
多语言站怎么处理？按语言拆成独立子目录各自的 llms.txt，不要在一个文件里混排中英文条目，引擎会优先读排在前面的那段。
钧笠营销落地上海临港新片区，专注出海与AI搜索场景的流量获取，两年间服务客户超过100家。如果你正在做 GEO内容策略 却卡在”写了不被读”这一环，可以直接拨 18001580822 聊聊站点的实际情况。