应用插件 版主:官方插件技术组
官方有考虑 增加LLMs.txt地图功能吗
类型:迅睿CMS 更新时间:2025-08-05 11:21:29 禁止访问
插件 Sitemap V3.26
应用作者 迅睿官方团队
发布时间 2019-07-08 10:49:23
更新时间 2025-01-01 08:41:00

官方有考虑 增加LLMs.txt地图功能吗?
1.1 定义与规范
LLMs.txt是一种类似于robots.txt的文本文件,专门用于指导大型语言模型(LLMs)如何访问和利用网站内容。
与robots.txt控制传统网络爬虫不同,LLMs.txt专门针对AI/LLM类爬虫,允许网站所有者明确指定哪些内容可以被AI爬取用于训练,哪些内容应该被排除在外。
它由AI研究者和网络标准组织提出,旨在解决AI训练数据采集与网站内容版权保护之间的矛盾。主要包括:
• 文件应放置在网站根目录下(如https://example.com/llms.txt)
• 使用简单的文本格式,易于解析
• 支持通配符和路径匹配
• 可以指定允许或禁止特定AI系统访问
基本规范
LLMs.txt文件通常放置在网站的根目录下(如:https://example.com/llms.txt),其语法结构与robots.txt类似:
User-agent: [AI爬虫名称]
Allow: [允许访问的路径]
Disallow: [禁止访问的路径]

插件教程:https://www.xunruicms.com/doc/app-428.html