模型抓取网页时拿到的是 HTML：导航、模板、脚本、评论混在一起，真正的事实段落被噪声包围。llms.txt 的思路是给机器一份纯文本的站点导览——这是什么站、讲什么、关键页面在哪，用 Markdown 写清楚，让模型不必从模板里猜。

提案地址是 llmstxt.org，社区里也常配一份 llms-full.txt，把所有内容拼成一个长文件。

格式约定

结构很薄，一个标题、一段摘要、若干分组链接：

1
2
3
4
5
6
7
8
9
10
11

# 站点名称

> 一两句话说明这个站是做什么的、面向谁。

Details: 可选，补充口径、更新频率等。

## 关键页面
- [页面名](https://example.com/services/): 一句话说明这一页讲什么

## 近期内容
- [文章标题](https://example.com/2026/10/26/slug/): 摘要一句话

写的时候有两条要注意：摘要与每页说明必须描述那一页，不要写成宣传语；链接用绝对地址，别让人再拼一遍域名。

与 robots.txt、sitemap.xml 的分工

三者不是替代关系，是三道不同的门：

所以顺序是：先确认放行与可达，再给索引，最后才谈”读得懂”。

一个务实的结论

截至 2026 年 10 月，主流生成式引擎是否读取 llms.txt，没有官方确认。它更像一份成本极低的自述文件：写了不会错，但别期待它单独改变引用情况。

真正决定引用的是前面那两件事——内容是否可抽取、站点是否可抓取。把 llms.txt 当成”结构化的入口页”顺手做掉，性价比最高；把它当成 GEO 的全部，就是自我安慰。

另外要维护一致性。这份文件里的业务描述与联系方式如果和页面正文各说一套，反而制造实体歧义——那正是五步做法里”实体一致性”要避免的事。

OneGeo 站是怎么生成的

本站的 llms.txt（直接查看）由 scripts/llms.js 在构建时生成：站点名与描述取自 _config.yml，地址电话取自主题配置的 contact 节点，近期文章取最新 40 篇并带摘要。这样只有一个数据源，不会出现”页面上改了、说明文件没改”的情况。

搜索排名是别人家的表，而 GEO 关心的是模型给出的那段回答里有没有你、说的是不是对的。同一个问题在不同模型上引用来源重叠度并不高，把某个引擎的”第几名”当指标，既不稳定也不可核对。

我们只用三个口径，全部可以逐条复核。

口径一：被引用次数

固定问题集下，本站作为来源被列出的次数。取数方式：把问题按类别整理成一张表，逐条在目标模型里提问，记录回答是否附带来源、来源里有没有本站域名。

关键约束是问题集要固定。换了问题、换了模型版本、换了提问时间，数字就没有可比性。所以基线报告里要写清楚：哪一天测的、哪些模型、模型版本号、完整问题清单。

口径二：被描述准确率

被引用不等于被说对。常见的偏差有三种：把产品能力说大（承诺了我们不做的功能）、说小（漏掉核心场景）、张冠李戴（把主体、品牌、产品线混成一家）。

做法是给每条回答打标记：准确 / 部分准确 / 不准确，并记录不准确的原文。这个指标直接影响转化——模型替你说错话，比你不在场更糟。

口径三：来源分布

引用来自站内哪个页面，还是来自第三方信源（媒体、社区、百科、问答）。分布决定了下一步动作：

• 站内页面被引：说明抓取与结构化没问题，继续扩大可抽取的事实密度。
• 只有第三方信源被引：说明模型对本站的信任来自外部，站内可达性或内容结构还有缺口。
• 完全没有来源：先回到可达性自查，这一步不通过，后面都白做。

基线与回测必须同口径

这是唯一一条不能妥协的方法要求：优化前后用同一组问题、同一批模型测。差值只在同口径下有意义。

1

基线（T0）  →  改造动作清单  →  回测（T1，同问题集同模型）  →  差值与结论

模型侧还有滞后：抓取与索引更新不是即时的，公开资料里 OpenAI 提到调整搜索爬虫规则可能需要约 24 小时生效，而信源积累通常按季度看趋势。所以监测周期建议按月，不要按天。

哪些数字不该出现

• 没有基线就没有提升百分比。任何”引用量提升 300%”在缺基线时都不可信，包括我们自己写的。
• 不承诺”一定被某模型引用”。引用与否由模型决定，能承诺的只有动作与口径。
• 客户名称、案例数据、效果截图需要客户授权与可核对的原始记录，本站目前不公布。

同一家公司往往不止一只爬虫，用途完全不同，挡错的代价也不一样。

两个容易写错的地方：

• Google-Extended 是用途控制项，不是独立爬虫。它控制的是”被抓到的内容能否用于 Gemini 训练”，服务器日志里通常不会出现这个名字。想影响 Google 的 AI 概览，实际起作用的是 Googlebot 与 GoogleOther。
• 训练爬虫与检索爬虫要分开决策。允许被引用而不允许被训练，是一种常见且合理的策略：放行 OAI-SearchBot、Claude-SearchBot，对 GPTBot、ClaudeBot 另做选择。

四步自查

第一步：读自己的规则。 打开 https://你的域名/robots.txt，确认没有一条 Disallow: / 命中上面这些名字。很多站是被上一版模板或 SEO 插件顺手挡掉的。

第二步：用对应 UA 请求关键页面。

1
2

curl -I -A "OAI-SearchBot" https://example.com/services/
curl -I -A "PerplexityBot" https://example.com/

看返回码：200 正常；301/308 要确认跳转后的地址同样可达；403 大概率是 WAF 或 CDN 规则；429 是限流，爬虫拿不到完整内容；5xx 服务端问题。

第三步：看真实日志。 统计谁真的来过，比猜更准：

1
2

grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|Bytespider|CCBot" \
  /var/log/nginx/access.log | sort | uniq -c | sort -rn

第四步：核对 IP 与 CDN 设置。 改 User-Agent 的 curl 测试不能证明真实爬虫可以访问——UA 是客户端自报的，而 CDN/WAF 按源 IP 过滤。各家会公布爬虫的 IP 范围（OpenAI 提供 gptbot.json、searchbot.json、chatgpt-user.json 三个清单），在 CDN 侧按这些网段放行，比改规则更可靠。

改完多久生效

各家节奏不同。OpenAI 的说明里提到调整 OAI-SearchBot 相关规则后，系统可能需要约 24 小时才反映出来。所以改完不要立刻用”有没有被引用”来判断成败，至少留一个观察周期，并用固定问题集回测。

本站的做法

OneGeo 自己的 robots.txt 明确放行上面这些抓取器，并指向 sitemap.xml。理由很直接：GEO 的前提是模型能抓到并读懂内容，先把门打开，再谈内容质量。

一个补充：ChatGPT-User 这类用户触发取页是否严格遵循 robots.txt，公开资料的说法有过变化。不要把它当成访问控制的兜底——真正敏感的内容应该靠鉴权与不可猜测的 URL 保护，而不是靠一条 robots 规则。