结论先给：抓取预算不够，绝大多数时候不是配额太小，而是被浪费掉了。别盯着爬虫来过多少次，要盯三个指标——非 2xx 抓取占比、抓取到收录的转化率、去重后的 URL 模板数。把非 2xx 抓取压到 8% 以内、让每次抓取的收录产出从 0.1 提到 0.3 以上，通常比再发 50 篇新文章见效更快。
钧笠营销做站点体检这两年，最常碰到的误判是：收录少，第一反应就是内容不够，于是加预算写文章。可服务器日志一拉出来，爬虫一周来了几百次，真正被收录的只有个位数。这说明页面不是没被看见，而是看见之后没被带走。技术 SEO 的活儿，很多时候就藏在这段搬运过程里。
一、日志里只读这三行，别急着改内容
技术 SEO 有个好处：日志不会替谁说话。把最近 14 天的访问日志按 User-Agent 过滤出 Googlebot，只统计三行数据就够了。
- 非 2xx 抓取占比：3xx、4xx、5xx 加起来除以总抓取次数。超过 20% 属于明显浪费，我们把健康线卡在 8% 以内。
- 抓取到收录的转化率：拿日志里的抓取量对比 Search Console 中”已抓取，但目前未编入索引”的数量。低于 0.2，说明爬虫在反复搬运卖不出去的货。
- 唯一 URL 模板数：把带参数的地址归一成模板，例如 /product?color=*&size=* 只算一条。模板数超过站点真实页面类型的 3 倍，基本可以断定出现了组合爆炸。
二、四处黑洞，预算烧在看不见的地方
筛选与参数组合：最贵的免费陷阱
一个 12 个 SKU 的分类页，加上颜色、材质、产地三个筛选器，理论组合能冲到上千个地址。爬虫顺着链接一个个抓，抓回来的内容九成是重复的。处理方式不是一股脑 noindex，而是分层：单参数组合保留索引并配 canonical，双参数及以上用 robots 拦截，同时给高频筛选组合补一个静态 URL。我们追踪过的一组对照显示，拦截之后同一分类的抓取次数下降约六成，收录页数反而往上走——预算腾出来了，才轮得到真正重要的页面。
软 404 与空结果页
站内搜索页、分页尾页、已下架产品页，返回 200 却几乎没有内容，这类页面最耗预算，因为它”看起来一切正常”。判断阈值给一条：正文可见文本少于 120 字、且没有任何结构化数据的页面，按软 404 处理，改成 404 或 410，别继续挂在 200 上。
重定向链：一次跳转就是一笔预算
http 跳 https、再跳 www、再补尾斜杠，四跳之后爬虫已经花了四次预算才拿到一份内容。日志里统计重定向链长度，超过 1 跳的 URL 占比高于 10% 就该批量改。这项修复成本极低，往往是投入产出比最高的一步。
渲染依赖：HTML 里没有的东西要等第二轮
纯客户端渲染的站点，爬虫第一轮拿到的只是空壳，正文要排进渲染队列。被拉长的是”首次抓取到收录”的时间差，指标上的表现就是：TTFB 明明只有 180 毫秒，收录却要三周。判断方法有两个——对比日志里桌面端与移动端 Googlebot 的抓取时间差，以及用 URL 检查工具的”已呈现 HTML”跟源码逐段比对。首屏关键文案与 H1 必须落在原始 HTML 里，这条是硬线，没有商量余地。
三、30 天排查与复测表
整个动作按周推进，每周只留一个可验收的数字，别一次铺开。
| 周次 | 动作 | 验收阈值 |
|---|---|---|
| 第 1 周 | 接入服务器日志，按 UA 过滤出 Googlebot，建立三项基线 | 拿到非 2xx 占比、收录转化率、唯一模板数三个初始值 |
| 第 2 周 | 治理参数与筛选：robots 拦截、canonical 归一、补静态 URL | 唯一 URL 模板数下降 50% |
| 第 3 周 | 清理软 404 与多级重定向链 | 非 2xx 抓取占比 ≤ 8% |
| 第 4 周 | 补齐渲染与内链，更新站点地图并重新提交 | 抓取到收录转化率 ≥ 0.3 |
复测时记得用同一时间窗对比，别拿 14 天的数据去比 7 天的数据，那个数字没有意义。
四、什么时候该找人做
两种情况建议直接找外部团队：一是拿不到原始日志，不少 SaaS 建站平台默认不开放，这时只能靠 CDN 日志或 Search Console 的抓取统计做近似推算；二是站点 URL 超过 5000 且模板混乱，自己做排查的边际成本会迅速抬上去。
顺带一句，抓取预算只是谷歌SEO优化里的一环，它与关键词布局是上下游关系——预算决定”能不能被抓走”，布局决定”抓走之后归到哪个词”。两边一起看，才看得出问题到底卡在哪一段。如果你正在规划独立站流量获取的整体节奏，可以把这两项放在同一张排期表里推进。
钧笠营销位于上海临港新片区，这类技术审计通常两周内出基线报告，联系电话 18001580822。这两年服务过的 100+ 客户里，真正需要扩容服务器或换架构的很少，多数站点的问题都出在上述四处黑洞上——先算清楚预算花在哪，再决定要不要多写内容。