抓取预算（Crawl Budget）

抓取预算指搜索引擎爬虫在一定时间内会抓取某个网站多少页面。它受两方面影响：服务器能承受多大的抓取压力而不变慢，以及搜索引擎认为这个网站的内容有多大抓取价值。两者共同决定了新页面多快被发现、旧页面多久被重新抓取一次。

对几十上百页的企业官网，抓取预算一般不是瓶颈。页面规模大的站点才需要重点关注，例如商品数量多的电商站、带大量筛选组合的列表页、分类信息站。筛选参数、日历、会话 ID 等可能产生近乎无限的 URL，把抓取资源消耗在无价值页面上。

常用的优化方法包括：用 robots.txt 屏蔽无意义的参数路径、为重复页面设置 canonical、及时修复死链和跳转链、提升服务器响应速度、保持站点地图准确，以及让重要页面在站内有清晰的链接入口。

现在除了传统搜索引擎，各类 AI 产品的爬虫也会访问网站。建议定期查看服务器日志，了解哪些爬虫在抓、抓了哪些页面、是否频繁遇到错误，再决定对不同爬虫的放行和限速策略。