robots具体应该禁止什么样的文件？
发布时间：2023-1-26 分类： 电商动态
网上写机器人的方法很多，但是不知道谁对谁错。机器人应该禁止那些文件吗？
今天总结一下：首先说明一下，百度每天送的蜘蛛有限。机器人写它是为了节省蜘蛛资源，这样蜘蛛就可以快速有效地爬行和收集它们！
对于企业站，不会有太多蜘蛛资源
所以，我们要珍惜蜘蛛的每一次爬行，让它有意义。不要抓取一些没有价值的页面，浪费蜘蛛资源，导致网站上市和排名延迟。列举了以下几个例子：1 .模板文件(/template/)可以屏蔽；2.这个文件/上传/通常是图片，可以屏蔽；3./data/系统数据文件，可以屏蔽；4、/img/或/images/，如果你不是图片站，也可以屏蔽它；5./bin/系统文件可以屏蔽；6./install/安装文件可以屏蔽；7./member/有成员的可以屏蔽；8./logreport/有统计报表的可以屏蔽；9./bjk/有加密文件，可以屏蔽；10./js/、/css/可以屏蔽。这是为了让蜘蛛更好地理解网站结构。如果资源少，可以屏蔽。11.记得放入站点地图，不要遮挡，让蜘蛛第一时间看你的站点地图，更快知道网站的链接结构！综上所述，希望对大家有所帮助！
文章来源：懒猫seo博客
源地址：/seowzyh/6978.html
