关注安徽站长创业、网站优化、网站推广及搜索引擎优化(SEO)的自媒体平台,分享最新的seo和网站优化知识
  • SEO
  • 马鞍山SEO
  • 百度蜘蛛频繁抓取js和css该怎么办,怎么禁止抓取

百度蜘蛛频繁抓取js和css该怎么办,怎么禁止抓取

发布:雷都SEO2018-6-22 17:18分类: 马鞍山SEO 标签: 百度 百度SEO 百度蜘蛛

经常有站长咨询说百度蜘蛛频繁抓取网页的js文件和css文件,想屏蔽百度蜘蛛不让百度蜘蛛抓取这些文件,但是很多站长有担心如何屏蔽了百度蜘蛛抓取css文件和js文件是否会对网站排名产生不利影响,于是这些站长很纠结。

从百度站长优化指南我们就可以指定,百度排名不会考虑js文件或者css文件,也就是说js文件和css文件不参与百度排名,但是大量站长反馈,虽然禁止百度抓取js和css文件,但是百度蜘蛛还是照样抓取不误,毫无疑问,它们是用来支撑网站整体上的功能性和美观性,任何网站都需要js和css。

禁止百度收录和抓取css文件的方法

通过robots.txt文件实现禁止百度收录

如果你确实不想让百度蜘蛛抓取js和css,可以通过robots.txt进行屏蔽。新建一个robots.txt放在网站根目录,内容为 (如果禁止所有搜索引擎抓取js和css文件,将下面的User-agent: baiduspider改为User-agent: *):

User-agent: baiduspider

Disallow: /*.js$

Disallow: /*.css$

我们看看其他站长对禁止百度蜘蛛收录js和css的看法。

1、谷歌管理员指南说明

阻止你的CSS和js文件可能会影响你在谷歌的搜索排名,所以建议robots.txt不要禁止JS和CSS文件访问。

谷歌索引的建议:

网页加载速度对用户和索引依然非常重要。

屏蔽JS和CSS,谷歌索引将无法向普通用户那样读取页面。

如果JS太复杂,渲染页面可能不正确。

2、夫唯 - SEOWHY创始人

我认为“蜘蛛抓取一个网站的时间是一定的,限制了某文件被抓取,则它又更多时间去抓取别的网页”

如果不成立,则完全没必要屏蔽CSS和JS了。

如果成立,那要屏蔽的就不止CSS和JS了,很多没实质意义的文件都值得屏蔽。

3、 合肥seo自媒体(雷都seo):

我们不建议禁止百度收录js或者css文件,毕竟百度抓取这些文件对网站整体性能影响微乎其微,如果禁止百度抓取js或者css,可能会影响百度快照js特效和css样式得不偿失,建议不要这样做。

转载请注明:本文《百度蜘蛛频繁抓取js和css该怎么办,怎么禁止抓取》链接: http://seo.leidu.net/post-183.html

百度已收录

已有 0/1674 人参与

发表评论:

欢迎分享合肥SEO自媒体seo.leidu.net

合肥网站SEO

欢迎使用手机扫描访问本站,还可以关注微信哦~