在线咨询

电话沟通

定制方案

robots.txt 维护了三年,llms.txt 还是空的:AI搜索优化GEO 的 4 步落地、2 组阈值与 30 天观测表

  • 首页
  • AI搜索优化GEO
  • robots.txt 维护了三年,llms.txt 还是空的:AI搜索优化GEO 的 4 步落地、2 组阈值与 30 天观测表

AI搜索优化GEO

结论:ChatGPT、Perplexity、Gemini 三家都明确读取 robots.txt,但没有一家官方承认会读取 llms.txt——它由 Jeremy Howard 在 2024 年 9 月发起,至今仍是社区提议,格式出自 llmstxt.org。所以在 AI搜索优化GEO 里,/llms.txt 的正确定位是「给模型的编辑推荐位」,不是排名开关。

不少外贸企业的 robots.txt 维护多年、sitemap.xml 按周提交,唯独根目录的 llms.txt 空着。它值得排进季度排期吗?

三份文件管的是三件不同的事

把 llms.txt 当成「升级版 robots.txt」是最常见的错位。

文件 读取方 回答的问题 是否官方标准
robots.txt GPTBot、PerplexityBot、Google-Extended 允许抓取吗 是,各家公开支持
sitemap.xml 搜索引擎 有哪些页面存在 是,sitemaps.org 协议
llms.txt 生成式引擎(尚未官方承诺) 该优先读哪几段 否,社区提议

robots.txt 决定进不进得了门,sitemap.xml 提供完整门牌号,llms.txt 想解决的是第三件事:模型上下文有限,你能否递上一份筛选过的清单。这也是 AI搜索优化GEO 与传统抓取优化的分野——前者是取舍的艺术,后者是准入的工程。

格式要求:比想的严格

按 llmstxt.org 约定,文件必须是纯 Markdown,放在根目录,路径严格为 /llms.txt,结构只有四层:

  • 一个 H1:站点或品牌名,只能出现一次
  • 一段 blockquote:用 > 开头,交代你是谁、服务什么市场
  • 若干 H2 区块:每块代表一类内容
  • 区块内链接列表:- [页面标题](绝对地址),标题后可加冒号和一句说明

坑在链接:必须绝对地址,相对路径对模型没有意义。孪生概念也要分清——llms.txt 是索引,llms-full.txt 是全文大文件,只适合文档站。

4 步把 /llms.txt 做出来

1. 挑页面,而不是堆页面

从三处取料:近 90 天自然流量 Top 10、询盘表单上游停留最久的页面、销售同事邮件里反复附件的页面。三者交集优先,其余按流量补位。

2. 写摘要,而不是抄标题

冒号后那句说明是唯一能影响模型判断的文本,抄标题等于没写。把「某型号高温炉」升级为「控温精度 ±1℃、适用 1700℃ 以下陶瓷烧结的箱式炉,附第三方校准报告」——带参数、带场景、带证据。

3. 给链接,用绝对地址

https、域名、尾部斜杠逐条核。这步值得人工过,脚本难发现「生产挂着测试域名」。

4. 设更新节奏

上下架、认证到期、报价调整都会让文件失真。把它挂进发布流程:新页面上架即登记,季度末复核。

两组阈值:别让文件自己失效

第一组是体积阈值:建议 120 行、8KB 以内。超了要么被截断,要么在注意力分配里被稀释——本质上你已经写了份 llms-full.txt,却还叫它索引。

第二组是链接条数:建议 10 到 30 条。少于 10 条覆盖面不足,多于 30 条等于没有筛选。钧笠营销在上海临港新片区的服务团队通常建议先落 15 条跑数据,再按观测结果加减。

30 天观测表

时间 动作 看什么
D0 文件上线,确认返回 200 根目录能否直接打开
D1 提交一次 日志里 GPTBot 的 UA 记录
D7 检查是否被渲染成 HTML 源码里不应有 <html> 标签
D14 三个平台问同一批问题 答案是否命中你挑的页面
D30 对比前后 30 天会话 referral 会话与停留时长趋势

D30 归因含噪音:推介流量常被归为直接访问,看趋势为主。

什么时候它才真的有用

如果 robots.txt 把 GPTBot 挡在门外,做再多 llms.txt 都是零——准入永远排第一。

另一个标准是内容的「可摘录度」。模型倾向引用能独立成立的一段话:有主语、有数字边界、不依赖上下文。整篇靠「我们很专业」堆叠的页面,进了推荐位也难被摘出。

这两件事做扎实后,llms.txt 落地才从形式变成杠杆。

一句话版本

准许三家爬虫抓取 → 挑 15 个最值得被引用页面 → 用 H1 加 blockquote 加 H2 区块写成纯 Markdown → 放根目录并把体积压到 8KB 内 → 按 30 天表观测,用趋势而非单日数字下结论。

钧笠营销(上海临港新片区,服务出海制造与外贸企业满 2 年、累计 100+ 家客户)做站点诊断时,会把这一项并入整体可见度评估,连同实体信息一致性、结构化数据字段一并交付。需要针对自家站点出一份 llms.txt 草案,可联系 18001580822。

评论