AI 到底有没有在读你的网站？我让 AI 做了个计数器，SEO 和 GEO 曝光分开数
网站上线第一天，我最想知道两件事：
- 谷歌、百度、必应这些搜索引擎，来没来看我的网站？
- ChatGPT、DeepSeek、豆包、Kimi 这些 AI，来没来读我的网站？
第一个问题关系到 SEO，就是别人搜索时能不能搜到你。第二个问题关系到 GEO，就是别人问 AI 时，AI 会不会提到你。做外贸的，现在越来越多客户是先问 AI、再去找供应商，所以第二个问题越来越要紧。
常见的网站统计工具，比如百度统计、谷歌分析，回答不了这两个问题。它们只统计「真人用浏览器打开了网页」，搜索引擎和 AI 派来的程序（行话叫「爬虫」）根本不算在里面。
所以我让 AI 给网站做了一个计数器：SEO 和 GEO 分开数，每个平台来了几次、为什么来、看了哪些页面，全都列出来。这些数只在网站后台看得到，访客看不到。整个过程我没写一行代码，也没花一分钱。下面把做法原样写出来，你照着做就行。
一、先分清三个数
说「曝光」，其实有三种，来源不一样：
| 数什么 | 数据从哪来 | 说明什么 |
|---|---|---|
| 搜索引擎、AI 的爬虫来抓了几次 | 你自己服务器上的访问记录 | 它们知道你、在读你。这是被收录、被引用的前提 |
| 有人从搜索结果、AI 回答里点进来了几次 | 同样是服务器的访问记录 | 已经有真人因为它们找到你了 |
| 你的网页在别人的搜索结果里出现了几次 | 谷歌 Search Console、必应站长平台的官方数据 | 真正的「展示次数」，还能看到别人搜的是什么词 |
前两个数，服务器本来就记着，只是没人去数。第三个数，谷歌和必应免费提供，接过来就行。我把三个都做进了后台。
二、SEO 和 GEO，大白话分别是什么
- SEO 曝光 = 搜索引擎派爬虫来读你的网页 + 有人从搜索结果里点进来。
- GEO 曝光 = AI 公司派爬虫来读你的网页 + 有人从 AI 的回答里点进来。
AI 的爬虫来读，又分三种情况，价值不一样：
| 情况 | 例子 | 价值 |
|---|---|---|
| 用户提问时实时来读 | ChatGPT-User、Perplexity-User | 最高。说明有人在问 AI 问题，AI 当场来读了你的网页 |
| 给 AI 搜索建索引 | OAI-SearchBot、PerplexityBot | 高。以后有人问相关问题，AI 可能会引用你 |
| 拿去训练、采集数据 | GPTBot、ClaudeBot | 一般。内容被收进去了，但不代表有人看到 |
三、我上线第一天的真实数据
| 渠道 | 谁来了 | 次数 |
|---|---|---|
| SEO | 谷歌 | 34 |
| SEO | 必应 | 6 |
| SEO | 百度 | 6 |
| GEO | 谷歌的研发爬虫（GoogleOther） | 29 |
| GEO | Anthropic 的 ClaudeBot | 26 |
| GEO | ChatGPT、DeepSeek、豆包、Kimi、元宝、Perplexity | 0 |
一眼就能看出该干什么：谷歌、必应、百度都来了，SEO 的路是通的；AI 那边只有 Claude 来了，ChatGPT、国内几家 AI 都还没来过。这就是我接下来要加强的地方。
搜索结果里的展示次数，谷歌和必应当时都是 0。这是正常的，新网站一般要 1～2 周才开始在搜索结果里出现。
四、你要准备什么
| 要什么 | 说明 |
|---|---|
| 网站放在你自己的服务器上 | 阿里云、腾讯云这类云服务器都行，网站软件用的是 Nginx（最常见的那种）。服务器会自动记下每一次访问，这就是计数的原料 |
| 一个能连上服务器干活的 AI 助手 | 我用的是 Claude Code。Codex、Cursor、Trae、WorkBuddy 这类能在你电脑上执行操作的 AI 都可以。只能聊天的不行 |
| 网站有个后台（没有也行） | 我原来就有一个看留言的后台，计数器加在里面。没有的话，让 AI 做一个带口令的页面就行 |
| 谷歌 Search Console、必应站长平台的账号 | 想看「搜索结果里的展示」才需要，都免费。网站已经在这两个平台验证过的最好 |
如果你的网站是建站平台托管的（比如 Shopify，或者别人帮你托管的 WordPress），你拿不到服务器的访问记录，前两个数做不了。第三个数照样能接，谷歌、必应的后台也都能直接看。
五、用到的两份免费名单
AI 怎么知道哪条访问是谷歌、哪条是 ChatGPT？每个爬虫来访问时都会报上自己的名字。GitHub 上有人专门整理了这些名字，免费给大家用：
| 名单 | 管什么 | 地址 |
|---|---|---|
| ai.robots.txt | 200 个左右 AI 爬虫的名字，还写了每个是哪家公司的、拿去干什么 | github.com/ai-robots-txt/ai.robots.txt |
| crawler-user-agents | 1500 多个爬虫的名字，标好了哪些是搜索引擎、哪些是 AI | github.com/monperrus/crawler-user-agents |
两份都是 MIT 开源协议，随便用，记得注明出处。名单会更新，隔几个月让 AI 重新下载一次就行。
六、你做的事和 AI 做的事
| 你亲手做 | AI 替你做 |
|---|---|
| 1. 说清楚要什么：SEO、GEO 分开数，只在后台看 | 看服务器的访问记录，统计谁来过 |
| 2. 同意它改线上服务器（AI 会停下来问你） | 下载开源名单，写好分类、计数的程序 |
| 3. 同意谷歌云的服务条款 | 做后台页面，测好再上线 |
| 4. 把必应的 API 密钥敲进服务器 | 在浏览器里替你建谷歌云项目、开权限、生成密钥 |
| 5. 打开后台，看一遍数对不对 | 做一个双击就能打开后台的快捷方式 |
为什么第 3、4 件要你自己来：同意条款，是你本人同意；密钥相当于钥匙，应该由你自己放进服务器，不该经过 AI 的手。
七、7 个步骤
每一步都写了「对 AI 说什么」，你可以直接复制过去。
第 1 步：先看看谁来过
帮我看一下服务器上 Nginx 的访问记录，统计一下谷歌、必应、百度这些搜索引擎，和 ChatGPT、Claude、DeepSeek、豆包这些 AI 的爬虫，各来了多少次。先只看，别改任何东西。
这一步只是摸底。我的服务器上，谷歌已经在一页一页地抓了，Claude 的爬虫也来了。
第 2 步：做成一个一直在数的计数器
用 GitHub 上的开源名单 ai-robots-txt/ai.robots.txt 和 monperrus/crawler-user-agents，做一个 SEO 和 GEO 的曝光计数器：
- SEO = 搜索引擎爬虫来抓 + 从搜索结果点进来的访问
- GEO = AI 爬虫来抓 + 从 AI 回答（chatgpt.com、deepseek、豆包、kimi 等）点进来的访问
- 每分钟自动读一次服务器的访问记录，只数网页，不数图片和出错的访问
- 结果只显示在网站后台，要口令才能看，网页前台不显示
- 先在本地用服务器上的真实记录测一遍，测好给我看截图，再上线
AI 会先在你电脑上试，拿服务器的真实记录跑一遍给你看，没问题才上线。上线前它会停下来问你同不同意，你说同意它才动。
第 3 步：防冒充
有人会假装自己是谷歌爬虫。用 DNS 反查验证谷歌、必应、百度这些搜索引擎的爬虫是不是真的，冒充的不计数，单独列出来。反查查不到的，不要当成冒充。
这是谷歌、必应官方教的验证办法：查一下来访地址是不是真的属于谷歌。最后那句很重要，下面「坑」里会讲为什么。
第 4 步：按平台列出来，没来过的也要列
后台按平台列出 SEO 和 GEO 的曝光：每个平台来了几次、因为什么来（抓取、训练、AI 搜索、用户提问时实时访问、从回答里点进来）、看得最多的是哪几页、最近一次是什么时候。谷歌、必应、百度、搜狗、360、ChatGPT、DeepSeek、豆包、Kimi、元宝、通义、文心、Perplexity 这些重点平台，没来过的也列出来显示 0。
最后一句是我后来加的，也是最有用的一句。光看「来了谁」不够，还得看「谁还没来」，那才是要加强的地方。
第 5 步：接上谷歌、必应的官方展示数据
帮我接谷歌 Search Console 和必应站长平台的 API，把每个搜索词、每个页面的展示次数、点击次数接到后台。网页上能点的你来点，要同意条款、要输密钥的地方停下来叫我。
两家都免费。AI 会在浏览器里替你做这些事：
- 谷歌：在 Google Cloud 建一个项目，开通 Search Console API，建一个「服务账号」，在 Search Console 里把它加成「受限」用户（只能读，不能改），再生成一个密钥文件放在你电脑上。不用开结算，也不用绑卡。第一次用 Google Cloud 要同意服务条款，这一下你自己点。
- 必应：在必应站长平台点右上角齿轮，进「API 访问 → API 密钥」，点「生成」。生成好的密钥，你照着敲进 AI 给你的那条命令里。
第 6 步：做一个双击就能打开的快捷方式
后台只在服务器内部开放，帮我做一个双击就能打开后台的快捷方式。每次打开前，先把谷歌的最新数据拉一次。
我的后台不对外开放，打开要先连上服务器。AI 做了一个文件，双击它就会自动连上、拉数据、打开浏览器，我输一次口令就能看。
第 7 步：自己验收
打开后台看一遍，对照下面第九节的 5 项检查。
八、我踩过的坑，你可以绕开
1. 后台显示 SEO 是 0，其实谷歌来了 30 多次
第一次测试时，SEO 显示 0。原因是我电脑开着代理软件，「DNS 反查」查不到结果，程序就把真谷歌当成了冒充的，全剔掉了。后来改成：反查明确查到别人家的地址，才算冒充；查不到的，照样计入，标「未能验证」。
数字看着不对，一定要追问 AI 为什么。我是拿另一个对话查出来的「谷歌来了 30 多次」去对，才发现问题的。
2. 百度蜘蛛差点被算成 AI
AI 爬虫名单里有一个名字就叫「Spider」（蜘蛛），太笼统了，会把百度蜘蛛、搜狗蜘蛛都算成 AI。解决办法是先判断是不是搜索引擎，再判断是不是 AI，太笼统的名字直接不用。
3. 有些访问不算曝光
谷歌验证网站所有权时会来访问、谷歌自己的测试工具会来访问、各家抓网站小图标也会来访问，这些跟曝光没关系，不要算进去。谷歌还有一个研发用的爬虫叫 GoogleOther，它不进搜索结果，我把它算在了 GEO。
4. 国内的服务器连不上谷歌
我的服务器在阿里云杭州，实测连谷歌的接口全部超时。所以谷歌的数据改成在我自己电脑上拉（电脑能上谷歌），拉好再传给服务器。必应在国内能连，服务器自己每 6 小时拉一次。
5. 密钥别交给 AI 填
AI 能替你在网页上点到「生成密钥」，但把密钥放进服务器这一步，它不会替你做，这是对的。我用的 AI 是在它自带的浏览器里操作的，那里面点「复制」，复制不到我电脑上。最后我是照着屏幕把密钥敲进终端的，三十来个字符，一分钟的事。
6. AI 改线上服务器之前会停下来问你
改线上网站属于「动了就影响所有访客」的操作，靠谱的 AI 助手会停下来，等你明确说一句「同意上线」才继续。我用的这个，我说「一起做」它都不认，非得我说清楚「同意上线到生产服务器」。别嫌麻烦，这是在保护你。改之前让它先备份旧文件，改坏了随时能退回。
7. 展示次数是 0，别慌
新网站在搜索结果里出现，一般要 1～2 周。谷歌的数据本身也要晚 2～3 天。上线头几天是 0 很正常。
九、做完以后，自己验收这 5 项
- 打开后台，能看到 SEO、GEO 两个大数字，都不是 0（网站上线一两天以后，谷歌一般已经来过了）
- 「曝光来自哪里」里，谷歌、必应这些平台有次数，没来过的平台是灰色的「还没来过」
- 不输口令打不开后台；在网站前台的任何页面上都看不到这些数
- 谷歌、必应两张卡片都写着「最近同步」和时间，没有写「同步失败」
- 两张卡片上的展示、点击次数，和谷歌 Search Console、必应站长平台后台里显示的大致对得上
十、有了这些数，接下来怎么用
- 灰色的平台就是你的待办清单。我现在 ChatGPT、DeepSeek、豆包都是 0，就要去研究怎么让它们来读我的网站。
- 国内的 AI 很多是借搜索引擎找资料的。DeepSeek、豆包、Kimi、元宝联网搜索时，很多是用百度、必应、搜狗、头条搜索的结果。所以它们没派爬虫来，不等于没用到你的内容。想被它们引用，先把百度、必应、搜狗、头条的收录做好。
- 看「被读得最多的页面」。AI 和搜索引擎反复来读的页面，就是它们觉得有价值的，这类内容可以多写。
- 最值钱的是「用户提问时实时访问」和「从 AI 回答里点进来」。一旦这两项开始有数，说明真有客户在通过 AI 找到你。
如果你在照着做的过程中卡住了，欢迎通过网站联系我。
// 常见问题
- 我不懂代码，能做吗？
- 能。我全程没写代码，要做的就是说清楚需求、点几次同意、敲一次密钥、最后看一遍结果。
- 要花钱吗？
- 不用。两份名单免费，谷歌、必应的接口免费，读服务器访问记录也不花钱。我没开任何付费服务。
- 我的网站是 Shopify 或者别人托管的，能做吗？
- 拿不到服务器的访问记录，前两个数做不了。可以只接谷歌 Search Console 和必应站长平台的展示数据，或者直接上这两个平台的后台看。
- 这个数是「多少人看到了我」吗？
- 不完全是。爬虫来抓的次数说明搜索引擎、AI 在读你，是被看到的前提；真正「在搜索结果里被展示了几次」，看谷歌、必应那两张卡片。两个都要看。
- 访客能看到这些数吗？
- 看不到。这些数只在后台，要口令才能打开。我的后台连外网都打不开，只能从我自己的电脑连进去看。