关注安徽站长创业、网站优化、网站推广及搜索引擎优化(SEO)的自媒体平台,分享最新的seo和网站优化知识

宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛

发布:雷都SEO2020-1-7 14:22分类: 宝塔linux面板 标签: 宝塔插件 屏蔽垃圾蜘蛛 防火墙

一、屏蔽垃圾蜘蛛的作用

就是拦截垃圾蜘蛛、爬虫、采集器。降低服务器消耗。加快速度。避免不必要的消耗,导致搜索引擎收录差等。

二、使用方法:

方法一、宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛

安装宝塔linux防火墙。收费插件。当然你可以安装开心版宝塔面板或者破解版宝塔。 

软件管理 → linux防火墙 → 全局配置 → User-Agent过滤 填入下面的规则。

随便写描述后点击添加即可。

垃圾蜘蛛规则列表

(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaBot|DotBot|MauiBot|MegaIndex.ru|SiteExplorer|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu)

方法二、.htaccess 文件屏蔽某些垃圾蜘蛛

根据使用观察,发现宝塔插件的防火墙UA屏蔽对某些蜘蛛无效,我用的是apache,在伪静态规则中写有用。

SetEnvIfNoCase ^User-Agent$ .*(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaBot|DotBot|MauiBot|MegaIndex.ru|SiteExplorer|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu) BADBOT

Order Allow,Deny

Allow from all

Deny from env=BADBOT

三、进阶教程

如果自己站点有其他垃圾UA的机器人Bot。可以安装网站监控报表插件。在网站日志中查到不想让他访问的UA,然后添加到之前的规则中,规则使用|隔开即可。不能同时出现两个|。

转载请注明:本文《宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛》链接: http://seo.leidu.net/post-354.html

百度已收录

已有 0/66 人参与

发表评论:

欢迎分享合肥SEO自媒体seo.leidu.net

合肥网站SEO

欢迎使用手机扫描访问本站,还可以关注微信哦~