全部问题 求助问题 分享经验 开发需求
迅睿框架 版主：迅睿框架研发组
迅睿robots.txt文件，怎么配置
大表哥
类型：迅睿CMS 更新时间：2020-09-10 23:12:54

迅睿robots.txt文件，怎么配置啊？哪些文件不需要搜索蜘蛛爬取？



User-agent: *
Allow: /

或者，敢不敢这样？

回帖
  • #1楼    迅睿框架创始人
    2020-09-10 21:42:18
    Google Pixel 手机 0
    这个文件随便怎么配置了，推荐工具：http://tool.chinaz.com/robots/
    满意答案
  • 命运一切皆随缘
    #2楼    命运一切皆随缘
    2020-09-10 21:45:00
    Chrome 0
    这个无所谓了
  • 大表哥
    #3楼    大表哥
    2020-09-10 21:45:53
    搜狗浏览器 0
    命运一切皆随缘 无所谓，我就不知道该怎么办了！怎么配置啊？
  • 成继
    #4楼    成继
    2020-09-10 21:46:04
    Chrome 0
    这个看自己了，其实也是一个大学问的，配置不好蜘蛛不来爬，可以参考官方的写法https://www.xunruicms.com/robots.txt
  • 海阔天空
    #5楼    海阔天空
    2020-09-10 21:48:36
    Chrome 0
  • 大表哥
    #6楼    大表哥
    2020-09-10 21:48:41
    搜狗浏览器 0
    回复迅睿框架创始人 不写可以不？
  • 新手上路
    #7楼    新手上路
    2020-09-10 21:51:16
    Chrome 0
    不写完全可以啊
  • Pretty
    #8楼    Pretty
    2020-09-10 21:52:18
    Chrome 0
    其实这个文件不用写的
  • perweb
    #9楼    perweb
    2020-09-10 22:51:26
    小米手机 0
    写了基本设置全部允许
  • 大表哥
    #10楼    大表哥
    2020-09-10 23:12:54
    搜狗浏览器 0
    迅睿框架创始人：谢谢谢谢谢谢先学习学习学习
相关问题