外贸独立站上线后,怎么知道 ChatGPT 会不会推荐你:建站交付清单与 InsightWonder 实测

海外买家越来越多直接问 ChatGPT、Perplexity、Gemini。本文说明建站时要留好的四道可抓取闸、结构化数据与 llms.txt,以及上线后如何用 InsightWonder 测推荐、引用与竞品声量,并列出它的价格与局限。

要点速览
  • AI 爬虫要连续通过 robots.txt、WAF、渲染、meta 指令四道闸,才谈得上推荐。
  • robots.txt 放行不代表能读到,CDN 防火墙常把真实 AI 爬虫拦成 403 或挑战页。
  • Google 明确表示 AI 摘要不需要特殊 schema 或 AI 专用文件,结构化数据不是开关。
  • InsightWonder 只统计正文标注的引用,没测到的结果不显示成 0%。
  • InsightWonder 不测国内 AI 与 Google AI Overviews,国内市场应改用大乐GEO。

外贸独立站和海外官网上线之后,建站方通常会交付一份 SEO 检查表:标题、描述、站点地图、页面速度、移动端适配。这些都还要做,但海外买家找供应商、比产品的方式正在多出一条路——不先打开搜索引擎,而是直接问 ChatGPT、Perplexity、Gemini 这类 AI 助手「某类产品哪家靠谱」「A 和 B 怎么选」。回答里提到谁、引用了哪些网页,买家的候选名单往往就从那里开始。

这篇文章讲两件事:第一,建站方在交付时应该把哪些技术条件留好,让 AI 至少「读得到」这个网站;第二,网站上线以后,怎么用 InsightWonder 这类 AI 可见度工具去测——品牌有没有被推荐、被引用的是哪些来源、竞品在回答里占了多少声量。

InsightWonder、RelayWonder 与本站(大乐GEO / 大乐网络)属同一团队运营;本文按两款产品官网公开信息撰写,价格与功能以官网为准。

InsightWonder 首页以「Find out whether AI recommends your brand」为题,输入网站即可做一次免费快照,下方仪表盘是示例数据。
InsightWonder 首页以「Find out whether AI recommends your brand」为题,输入网站即可做一次免费快照,下方仪表盘是示例数据。

为什么「上线」之后还要多算一步

传统搜索给的是一页链接,买家自己点开、自己比较;AI 助手给的是一段已经整理好的答案,里面直接点名品牌、给出理由,有时附上来源链接。对外贸企业来说,这意味着即使网站在搜索结果里排得不差,也不代表它会出现在 AI 的回答里,反之亦然。学术界把针对这类生成式引擎的优化叫作 GEO:普林斯顿等机构的 GEO 论文提出了这个概念,并在自建的测试集上发现,调整内容的写法可以让来源在生成式回答中的可见度最高提升约 40%,同时效果因领域而异。

这篇论文给的是方向而不是保证:它说明「内容怎么写」会影响生成式回答选不选你,但前提是引擎能拿到你的内容。很多独立站的问题恰恰卡在这个前提上——页面在浏览器里看着一切正常,AI 的爬虫却什么也没读到。所以讨论「怎么被推荐」之前,建站方要先把「能不能被读到」这件事在交付里做实。

四道闸:AI 读不到,就谈不上被推荐

把 AI 读取一个网站的过程拆开看,至少要连续通过四道闸。任何一道没过,后面的内容写得再好也白费。InsightWonder 的 AI 可抓取性检查也是按这四道来排查的:robots.txt、真实爬虫身份(User-Agent 加 WAF)、JavaScript 空壳与渲染后的正文、meta 指令;它还会用普通浏览器访问做对照组,并且明确写着「200 状态码但正文为空」会被判为失败,而不是通过。

AI 读取网站前要依次通过四道闸:robots.txt、爬虫身份与 WAF、渲染后有正文、meta 指令,全部通过后才谈得上被提及与引用。
AI 读取网站前要依次通过四道闸:robots.txt、爬虫身份与 WAF、渲染后有正文、meta 指令,全部通过后才谈得上被提及与引用。

第一道:robots.txt 有没有把 AI 爬虫挡在门外

robots.txt 是爬虫来访时最先读的文件。按 Google 对 robots.txt 的说明,它主要用来管理爬虫流量,告诉爬虫哪些网址可以访问;它不是把页面藏起来的手段,也不能强制爬虫守规矩,正规爬虫会遵守,其他的未必。

AI 公司的爬虫通常不止一个,用途不同,要分开处理。以 OpenAI 为例,官方爬虫文档列出了三个 User-Agent:OAI-SearchBot 用于让网站出现在 ChatGPT 的搜索结果里;GPTBot 抓取的内容可能用于训练基础模型;ChatGPT-User 是用户在 ChatGPT 里触发的访问,不做自动抓取,robots.txt 规则未必适用。文档特别说明这几项设置相互独立——可以放行 OAI-SearchBot、同时禁止 GPTBot,既能出现在搜索回答里,又不把内容交给训练。

交付时常见的问题是:模板或安全插件默认写了一条宽泛的 Disallow,或者有人为了「防采集」一刀切禁掉了所有带 bot 字样的 User-Agent。这类规则要在上线前逐条过一遍,写清楚每个 AI 爬虫是放行还是禁止,并把决定记录在交付文档里,方便客户以后调整。各家爬虫的名字与用途可以参考 InsightWonder 整理的 AI 爬虫清单。

第二道:爬虫身份与 WAF——robots.txt 放行了,防火墙却拦了

这是最容易被忽略的一道。不少独立站部署在带防火墙、防爬或机器人管理功能的 CDN 后面,规则按 User-Agent、IP 信誉或请求频率判断。结果是 robots.txt 写着放行,真实爬虫到了边缘节点却收到 403、验证码页或一个空白的挑战页。浏览器打开一切正常,所以建站方和客户都不会察觉。

OpenAI 在同一份文档里公开了各个爬虫的 IP 地址列表,并建议放行这些地址段,让合法流量能到达网站。实际做法是:在 WAF 里为确认身份的 AI 爬虫建白名单规则,而不是单纯放行 User-Agent 字符串(字符串谁都能伪造),然后用真实 User-Agent 去请求关键页面,确认返回的是正文而不是挑战页。

第三道:渲染之后要有正文,不能是 JavaScript 空壳

很多现代前端框架默认在浏览器里渲染页面:服务器先返回一个几乎为空的 HTML 外壳,再由 JavaScript 把内容画出来。Google 的 JavaScript SEO 基础指南解释了 Googlebot 会排队用无头 Chromium 执行脚本,但同时建议采用服务端渲染或预渲染,理由之一就是并非所有爬虫都会执行 JavaScript。对 AI 爬虫来说,这一点更要保守估计:如果原始 HTML 里没有产品说明、参数和公司介绍,就当它读不到。

所以外贸站的关键页面——首页、产品页、分类页、关于我们、常见问题——应该用服务端渲染(SSR)或静态生成直接输出正文。检验方法很简单:关掉 JavaScript 或者用命令行请求页面,看返回的 HTML 里能不能直接找到产品名和关键段落。

第四道:meta 指令有没有误伤

最后一道是页面里的 robots meta 标签和 X-Robots-Tag 响应头。测试环境常常加了 noindex 防止被收录,上线时忘了去掉;也有前端先输出 noindex、再用 JavaScript 改掉的写法。Google 的同一份指南提醒,遇到 noindex 时爬虫可能直接跳过渲染,用 JavaScript 去移除它未必有效,想被收录就不要在原始代码里放 noindex。对执行能力更弱的 AI 爬虫,这条只会更严格。

把四道闸整理成上线前的检查表,大致是这样:

  • robots.txt:逐个列出主要 AI 爬虫(如 OAI-SearchBot、GPTBot 等)的放行或禁止决定,搜索类与训练类分开写。
  • WAF 与 CDN:用各家公开的 IP 段或官方验证方式为 AI 爬虫建规则,用真实 User-Agent 复测关键页面,确认不是 403 或挑战页。
  • 渲染:关键页面的原始 HTML 里必须能直接看到正文,不依赖浏览器执行脚本。
  • meta 指令:确认生产环境没有残留 noindex、nosnippet,响应头里也没有 X-Robots-Tag 误配。
  • 复测:每次改版、换主题、换 CDN 规则之后,四道闸重新跑一遍。

结构化数据与 llms.txt:有帮助,但不是门票

四道闸解决的是「读得到」,结构化数据解决的是「读得懂」。Schema.org是由 Google、Microsoft、Yahoo、Yandex 发起的共享词表,让网站用统一的方式标注组织、产品、常见问题等信息,机器不必猜。外贸站至少应在交付时给公司信息配 Organization,给产品页配 Product,给常见问题页配 FAQPage,并保证标注内容和页面可见内容一致。

但要说实话:Google 关于 AI 功能的说明写得很直接,出现在 AI Overviews 和 AI Mode 里没有额外要求,不需要专门的 AI 文本文件,也没有必须添加的特殊 schema.org 标注,页面只要被收录、符合展示摘要的条件即可。换句话说,结构化数据是让信息更清楚的好习惯,不是某个开关。

llms.txt 也是同样的定位。按 llmstxt.org 的说明,它是一份放在网站根目录的 Markdown 文件,以 H1 写站点名称(唯一必填项),接一段引用格式的摘要,再用 H2 分组列出重要页面的链接,供 AI 快速了解网站结构;它目前仍是一个提案。交付时顺手做一份成本很低,但不要向客户承诺「加了 llms.txt 就会被 AI 推荐」。InsightWonder 的 llms.txt 指南对写法有更细的说明。

上线之后:用 InsightWonder 测品牌有没有被推荐

技术条件留好之后,客户真正关心的问题是:海外买家问 AI 的时候,我的品牌到底有没有出现?这就需要专门的测量工具。InsightWonder 是一个面向品牌与增长团队的 AI 可见度与 GEO 平台,测的是 AI 回答引擎在回答买家问题时,有没有点名、推荐、引用某个品牌,并且每个结果都能追溯到原始回答和被引用的网址。它覆盖 ChatGPT、Gemini、Perplexity、Claude、Grok 五个引擎,界面以英文为主,也有简体中文版。

建议先从不用注册的免费工具开始,把上一节的检查做一遍:

免费快照只能说明「有没有问题」,要持续看趋势,就要进入付费工作台。它的流程分三步:建知识库、测量、创作与分发。几个对外贸站最有用的模块是:

  • 买家问题:按调研、评估、对比、信任、购买几类意图生成完整句子的问题;生成的问题里不能出现你自己或竞品的名字,追踪的问题集在每次测量之间保持不变,前后结果才可比。
  • AI 可见度:以提及率为主要指标,展示问题 × 模型的矩阵;含有自己品牌名的问题不计分;没测到的格子不会显示成 0%,先给出每个引擎的结果再给平均值,每次运行都标注方法版本。
  • 引用来源:只统计回答正文里真正标注的来源,检索候选池不算;「被引用」和「被推荐」分开记。
  • 竞品情报:统计回答里出现的每个品牌,而不只是你填写的竞品名单;合并拼写变体,样本太少时不给声量份额。
  • 内容机会:只在「竞品出现、你没出现」的问题上提示机会,不声称因果关系。

有两条它自己公开的经验值得建站方记住。第一,它在官网承认,早期把检索候选池算进引用,会让自己的引用数字虚高两到四倍,这也是现在只算正文标注来源的原因。第二,它观察到开启联网搜索后,某个网站的提及率从 3% 变成 13%,而那个网站本身什么都没改——这说明单次读数会被测量条件左右,看趋势比看某一次的数字更可靠。它的 2026 年第三季度 AI 推荐基准报告用 240 个不含品牌名的问题在 5 个模型上测试,据报告所列,Perplexity 的回答全部带引用,reddit.com 在所有 12 个品类里都被引用过,可以作为理解各引擎引用习惯的参考。

价格与套餐怎么选

InsightWonder 价格页列出 Starter、Growth、Scale、Plus 四档月付套餐与定制的 Enterprise 方案。
InsightWonder 价格页列出 Starter、Growth、Scale、Plus 四档月付套餐与定制的 Enterprise 方案。

按 InsightWonder 价格页所列(美元月付):

  • Starter:39 美元,1 个站点、30 个追踪问题、每月 750 次 AI 回答运行。
  • Growth:149 美元,标注为最受欢迎,1 个站点、100 个问题、2,500 次运行。
  • Scale:389 美元,3 个站点、300 个问题、7,500 次运行。
  • Plus:899 美元,5 个站点、500 个问题、12,500 次运行。
  • Enterprise:定制报价。

计量口径是「一个问题发给一个模型算一次回答运行」,所以 30 个问题跑 5 个引擎,一轮就是 150 次。年付有「送两个月」的选项;团队成员不限人数;媒体投放走钱包按次付费。没有永久免费套餐,符合条件的新账户有试用,具体条款在注册时显示,可以从注册页进入。对单一品牌的外贸站,先用 Starter 跑一个月,看清楚哪些问题上竞品出现而自己没有,再决定要不要扩到更多问题,是比较稳的顺序。

它做不到的事,要提前说清

推荐一个工具,也要把它的边界讲明白。按 InsightWonder 官网和它的对比页自述:

  • 不覆盖中文引擎:DeepSeek、豆包等国内 AI 不在测量范围。面向国内市场的品牌,应改用专测国内 AI 的大乐GEO。
  • 不覆盖 Google AI Overviews / AI Mode 和 Microsoft Copilot。
  • 测量走模型 API,而不是消费者实际使用的 App;隐私页说明目前通过 Perplexity 的 API 调用 GPT、Claude、Gemini、Grok 系列模型,结果与用户在 App 里看到的可能不完全一样。
  • 官网客户页目前没有公开的客户案例;首页仪表盘上的数字是示例数据,不能当作效果引用。
  • 不承诺排名,没有自动发布路径——分发采用草稿优先,每次对外写入都留记录。
  • 没有公开 API 和多客户工作区,默认测量频率是每月一次(可调整),不是每天。
  • Shopify 应用标注为「随平台一起上线」,目前不要当作已在应用商店可用。

这些限制并不影响它作为「上线后体检」的用途,但如果客户的主要市场在国内,或者最在意的是 Google 的 AI 摘要,就要换工具或者组合使用。

建站方可以怎样把这件事放进交付

对做外贸独立站的团队来说,AI 可见度不必做成一个独立的大项目,而是可以拆进现有的交付节点:

  1. 开发阶段:关键页面采用服务端渲染或静态生成,结构化数据随模板一起输出,测试环境的 noindex 用环境变量控制,避免带上生产。
  2. 上线前:按四道闸跑一遍检查表,用免费工具复核爬虫访问、正文提取、llms.txt 与 schema,把 robots.txt 与 WAF 的决定写进交付文档。
  3. 上线后第一个月:和客户一起确定一组不含品牌名的买家问题,跑一次基线,记录各引擎的提及与引用情况。
  4. 持续阶段:按月看趋势,针对「竞品出现而自己缺席」的问题补内容;内容一律先出草稿、人工确认后再发。

这样做的好处是,客户拿到的不只是一个「上线了」的网站,还有一份能复查的技术基线和一组可以长期追踪的问题。如果项目还涉及内容策略与持续优化,可以参考我们的 AI 搜索优化(GEO)方案。最后提醒一句:被 AI 推荐的时间与程度取决于行业、竞品和内容本身,通常要以月计,任何工具和服务商都不应该承诺排名。

常见问题

外贸独立站要不要在 robots.txt 里屏蔽 GPTBot?

取决于你是否愿意让内容用于模型训练。OpenAI 的爬虫设置相互独立:GPTBot 与训练有关,OAI-SearchBot 决定能否出现在 ChatGPT 搜索结果里。常见做法是放行 OAI-SearchBot、按客户意愿决定 GPTBot,并同步检查 WAF 没有拦截放行的爬虫。

InsightWonder 能测 DeepSeek、豆包吗?

不能。按官网自述,InsightWonder 覆盖 ChatGPT、Gemini、Perplexity、Claude、Grok,不覆盖国内 AI,也不覆盖 Google AI Overviews 和 Microsoft Copilot。面向国内市场的品牌,可以使用专测豆包、DeepSeek、通义千问等国内 AI 的大乐GEO。

加了 llms.txt 和结构化数据就会被 AI 推荐吗?

不会。llms.txt 目前仍是一个提案,Google 也明确说出现在 AI 功能里不需要专门的 AI 文件或特殊 schema。它们能让网站更容易被读懂,但推荐与否还取决于内容、竞品和引擎本身,应当上线后持续测量,而不是一次性加完就算。

参考资料

  1. Overview of OpenAI Crawlers · OpenAI
  2. Robots.txt Introduction and Guide · Google Search Central
  3. Understand JavaScript SEO basics · Google Search Central
  4. AI features and your website · Google Search Central
  5. About Schema.org · Schema.org
  6. The /llms.txt file · llmstxt.org
  7. GEO: Generative Engine Optimization · arXiv (Aggarwal et al., KDD 2024)
# 外贸独立站# GEO# AI 可见度# InsightWonder# AI 爬虫
免费咨询

聊聊你的项目

留下联系方式,我们一个工作日内联系你。先沟通需求和现状,再给方案;报价当面沟通。

  • 一个工作日内回复
  • 需求沟通免费,不强推方案
  • 交付管理后台与文档,可自行维护
仅用于本次咨询联系,不会用于其他用途。