← 索引

技术标准与 AI 可读性

内容要被 AI 引用,先得被 AI 读得懂。

这是一层公开的技术约定——不神秘,但容易被忽略。


一、llms.txt

是什么:在网站根目录放一个 Markdown 文件(/llms.txt),用结构化的方式告诉语言模型:这个站点有什么、哪些内容重要、怎么读。

为什么会有:现有的 robots.txt 只解决"能不能抓",sitemap.xml 只解决"有哪些页"。而模型需要的是理解——哪些是核心内容、哪些是导航噪音。

格式:Markdown,一般包含站点简介 + 分组链接列表。

项目★是什么
AnswerDotAI/llms-txt2629llms.txt 的提案与说明
thedaviddias/llms-txt-hub906已采用 llms.txt 的站点目录
firecrawl/llmstxt-generator537为任意站点生成 llms.txt / llms-full.txt

二、和它配套的几层

层文件 / 技术解决什么
准入robots.txtAI 爬虫能不能抓
地图sitemap.xml站点有哪些页面
理解llms.txt站点是什么、什么重要
语义JSON-LD / schema.org页面里的实体与关系是什么
形态Markdown 双标记给 AI 一份干净版本,给人一份完整版

形态那一层值得多说一句:有项目(如 dualmark)的做法是——同一页 URL,通过 HTTP 内容协商,给 AI 返回 Markdown、给浏览器返回 HTML。 这是把"机器可读"做成基础设施,而不是靠事后优化。


三、我们怎么看这一层

  1. 它是"被引用"的技术前提,不是加分项。 内容形态再好,如果模型读不到、读不懂,就谈不上被引用。
  2. 它是一种公开约定。 采用 llms.txt 不需要跟任何厂商签约,写文件即可——这降低了"成为可信来源"的门槛。
  3. 但它只解决"读得到"。 读得到之后,拼的是内容本身对不对题、切不切得开(见 [research-index.md](research-index.md) 第 4 组)。
  4. 它和"署名"是两回事。 让模型读懂你的站点,不等于模型引用时会署你的名——那是规范与治理层的事。

一句话:技术层让人读得到,治理层让引用算你的,内容层让人愿意引。三层缺一不可。