全部问题 求助问题 分享经验 开发需求
迅睿框架 版主：迅睿框架研发组
想为什么使用迅睿系统 看到日志有这个抓取分类 post
多拉秘法
类型：迅睿CMS 更新时间：2023-07-13 12:06:38

想问下为什么使用迅睿系统 看到日志有这个抓取分类 post 但是网站里又没有这个目录 但是又能访问 这是为什么 然后呢我用这个/post/ 放到另外个站发现也是能打开访问


问下解决方法：


如何 不让蜘蛛抓取这个post 会不会有什么影响 ？？？


微信截图_20230713091822

回帖
  • 迅睿框架技术-阿锋
    #1楼    迅睿框架技术-阿锋
    2023-07-13 09:24:13
    Chrome 0
    可能因为你开起了伪静态了
  • 多拉秘法
    #2楼    多拉秘法
    2023-07-13 09:25:53
    Firefox 115.0 0
    迅睿框架技术-阿锋 你好 麻烦你发一下资料和思路？？？？。？我看看？？？
  • 迅睿框架技术-阿锋
    #3楼    迅睿框架技术-阿锋
    2023-07-13 09:28:19
    Chrome 0
    没有思路和资料
  • 猜fing哥
    #4楼    猜fing哥
    2023-07-13 09:38:59
    Chrome 0
    robots。txt文件里面禁止蜘蛛抓取
  • 多拉秘法
    #5楼    多拉秘法
    2023-07-13 09:41:49
    Firefox 115.0 0
    猜fing哥 也不对 随便换个分类 然后后面跟上 1.html 也会正常访问比如正常的分类是 /a/1.html
    但是 假如你 输入错误的 /b/1.html (这个乱输的分类页面内容显示的就是1.html的内容)
    我就很奇怪 为什么会出现这个原因
  • 迅睿框架技术-阿锋
    #6楼    迅睿框架技术-阿锋
    2023-07-13 09:54:19
    Chrome 0
    正常的分类是 /a/1.html输入错误的 /b/1.html 理论上是404，如果你不是404，那么需要在系统设置里面，地址模式，开启地址匹配模式：唯一地址地址唯一规则： 精确匹配
  • 张小佛
    #7楼    张小佛
    2023-07-13 10:08:28
    Chrome 0
    是的，要开启精确匹配，你如果是模糊匹配的地址，那么输入任意字母都会识别到的
  • 初次使用
    #8楼    初次使用
    2023-07-13 10:09:32
    Chrome 0
    屏蔽蜘蛛的方法有很多啊，可以百度搜索下蜘蛛规则文件，设置一下他就不会抓取了
  • 天涯
    #9楼    天涯
    2023-07-13 12:06:38
    Chrome 0
    迅睿框架技术-阿锋 https://www.xunruicms.com/wenda/63523.html 你好，请给予指导，谢谢。分类信息是不支持吗？