页面发了却不被收录：从抓取到索引的排查顺序

「页面发出去了，搜不到」是上线后最常见的问题之一。原因可能在服务器配置、页面实现、站点结构或内容本身，但排查不必从头猜 —— 按三层顺序走一遍，大多数情况在前两层就能定位。

第一层：抓取器能不能拿到这个页面

先用命令行直接请求目标 URL，看状态码和返回体。常见的拦路情况是：robots 规则把目录整个禁掉了、服务器对非浏览器请求返回 403、CDN 的安全策略把陌生客户端挡下、或者页面实际返回的是跳转链而非内容。

robots 文件的作用范围经常被误解。它控制的是抓取，不是收录 —— 被 robots 禁止抓取的页面，仍然可能因为外部链接而出现在结果里，只是摘要为空。真正要阻止收录应当用页面级的 noindex 标记，而那又要求页面能被抓到才会被读到。两者搞混会导致「想收的收不了，想挡的挡不住」。

第二层：抓到之后能不能解析出内容

把同一个 URL 在禁用脚本的情况下取一次。如果返回的 HTML 里没有正文，只有一个空的容器，说明内容依赖客户端渲染。这类页面不是一定不被收录，但处理成本高、时机不确定，对新站尤其不利。

• 服务端渲染或静态生成是最稳妥的做法；
• 退而求其次，为抓取器提供预渲染版本，但要保证内容与用户看到的一致；
• 标题、描述、正文主体都应当在首屏 HTML 里，而不是后续请求补上。

第三层：解析出来了，值不值得收

这一层判断的是内容本身。几种常见情况：同一内容在多个 URL 上重复（带参数、带大小写差异、带结尾斜杠差异），导致权重分散且搜索引擎只选其一；页面主体内容过少，模板部分远多于正文；或者整站有大量结构雷同、只换了几个词的页面。

重复 URL 的处理办法是设置规范链接，明确告诉搜索引擎哪一个是正版。参数型 URL 还应当在服务端统一跳转到规范形式，而不是只靠标签声明。

sitemap 的作用被高估了

提交 sitemap 有助于发现新页面，但它不保证收录，也不能替代前两层。常见误区是页面不被收录时反复重新提交 sitemap —— 如果问题出在抓取被挡或内容为空，提交多少次都没有用。

sitemap 本身也要保持准确：列出的 URL 应当全部可访问、返回 200、且是规范形式。里面混着跳转和 404 的 sitemap 会降低它的可信度。

给出合理的时间预期

新站和新页面被收录需要时间，以周计是正常的，取决于站点的既有权重和更新频率。在前两层都确认无误之后，剩下的主要是等待和持续更新。我们在企业官网定制交付时会把这三层检查做完并给出记录，避免上线后双方在「到底是哪里的问题」上反复试错。更长期的内容与数据迭代思路见合作流程。