官方有考虑 增加LLMs.txt地图功能吗?
1.1 定义与规范
LLMs.txt是一种类似于robots.txt的文本文件,专门用于指导大型语言模型(LLMs)如何访问和利用网站内容。
与robots.txt控制传统网络爬虫不同,LLMs.txt专门针对AI/LLM类爬虫,允许网站所有者明确指定哪些内容可以被AI爬取用于训练,哪些内容应该被排除在外。
它由AI研究者和网络标准组织提出,旨在解决AI训练数据采集与网站内容版权保护之间的矛盾。主要包括:
• 文件应放置在网站根目录下(如https://example.com/llms.txt)
• 使用简单的文本格式,易于解析
• 支持通配符和路径匹配
• 可以指定允许或禁止特定AI系统访问
基本规范
LLMs.txt文件通常放置在网站的根目录下(如:https://example.com/llms.txt),其语法结构与robots.txt类似:
User-agent: [AI爬虫名称]
Allow: [允许访问的路径]
Disallow: [禁止访问的路径]
插件教程:https://www.xunruicms.com/doc/app-428.html