您好,欢迎来到分类目录网!本站提供网站免费收录和快审收录,文章发布和链接交换等服务! 视频网站目录大全小说网站目录大全行业网站目录大全
广告联系QQ:158925126当前位置:分类目录网 » 站长资讯 » SEO优化 » 文章详细 订阅RssFeed

网站SEO基础:如何阻止垃圾蜘蛛的抓取

来源:本站原创 浏览:107次 时间:2018-12-27

  作为一个网站的SEO负责人,你是否有关注过IIS日志的信息详情?如果没有,我敢肯定你网站的不少带宽都被所谓的蜘蛛占去了,即使你的带宽很猛,不在乎那么点流量,但是从优化到极致来说,这都是远远不达标的。

  蜘蛛分为真假蜘蛛,一般大型搜索引擎的蜘蛛,如百度、谷歌的蜘蛛,假蜘蛛一般归总为垃圾搜索引擎和恶意抓取程序。其中百度蜘蛛的真假分析,你可以通过语法“ nslookup ip”,查看来源是否是百度的子站点,如果不是,那么就是伪装的百度蜘蛛。如果仔细分析,你会发现一些国内或国外的蜘蛛,例如 EasouSpider、AhrefsBot等,这些蜘蛛都是没有什么用的,如果你面向的市场是国内的,百度 BaiduSpider,谷歌 Googlebot,360 360Spider,soso Sosospider,搜狗Sogou+web+spider,保留这几个蜘蛛的抓取就足够了,其他的蜘蛛一律屏蔽掉就行了,还有把你的静态资源,如Image和JS、CSS的路径也屏蔽掉,这些资源都是不需要蜘蛛抓取的,因为没有展现的价值;

  一般来说,屏蔽蜘蛛的爬取有三种方法:

  Robots 禁封

  UA 禁封

  IP 禁封

  一、Robots 禁封

  Robots 协议(也称为爬虫协议、机器人协议等)的全称是 “网络爬虫排除标准”(Robots Exclusion Protocol),用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。

  Robots 协议在网站中体现在根目录下的 robots.txt 文件,一般格式入下:

  User-agent: YisouSpider

  Disallow: /

  User-agent: EasouSpider

  Disallow: /

  User-agent: *

  Disallow: /admin/

  正规 Robot 在爬取网站前都会先读取该文件,根据 robots.txt 指示爬取:

  蜘蛛爬行记录图 1:ROBOTS TXT

  但是由于 Robots 协议并不是一个规范,而是约定俗成的,所以只能引导正规蜘蛛爬取,并不能阻止垃圾蜘蛛,因此要屏蔽流氓垃圾蜘蛛还需要其他更严格的措施来配合。

  二、UA 禁封

  UA(User Agent)中文名为用户代理,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等,大多数蜘蛛都有携带此信息,如谷歌 Chrome 浏览器 Windows 版本 UA 是:

  Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36

  针对指定 UA 的访问,返回预先设定好的异常页面(如 403,500)或跳转到其他页面的情况,即为 UA 禁封。

  Nginx 下,可以单独创建一个配置文件,如 deny-robots.conf,并将文件添加到 nginx.conf 或网站配置中,然后重新加载 Nginx 即可。

  例如 deny-robots.conf 在 /etc/nginx/conf/ 文件夹下,deny-robots.conf 内容:

  if ($http_user_agent ~ "InetURL|Pcore-HTTP|PocketParser|Wotbox|SEMrushBot|newspaper|DnyzBot|Mechanize|redback|ips-agent|Sogou Pic Spider|python-requests|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|feedreader|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$")

  {

  return 444;

  }

  然后在网站nginx配置中添加:

  server {

  ......

  include deny-robots.conf

  ......

  }

  最后service nginx reload 即可生效,Apache 等其他软件操作类似。

  解释一下,这个配置的意思是 判断访问者 UA 是否包含引号中的字符串,若为真,则返回错误码 444,其中错误码 444 是 nginx 独有的错误码,表示服务器不返回任何数据,直接丢弃。

错误码 444 是 nginx 独有的错误码


图 2:RESPONSE EMPTY

  根据访问日志,我也整理了一份清单上传到 GitHub,链接:vircloud/bots,可以作为参考。

  由于 UA 禁封是由 Nginx 或 Apache 等已经到应用层才处理,因此即使已经禁止爬取访问,蜘蛛仍然会先与服务器创建连接,浪费资源,为此,针对特别流氓的蜘蛛,可以通过防火墙在底层拒绝连接。

  三、IP 禁封

  IP 禁封是指利用系统自带防火墙,拒绝蜘蛛 IP 连接,此措施最为严格,且针对有特定 IP 蜘蛛,如果 IP 是随机变动的, IP 禁封意义也不大。

  举例, 有 UA 为 ”WF search/Nutch-1.12“ 的蜘蛛,通过 IP 183.94.118.76 与服务器产生大量连接访问,影响到正常运行,则通过以下命令禁止连接(CentOS7):


FIREWALLD DENY

图 3:FIREWALLD DENY

  生效后此 IP 将无法再与服务器产生连接:


网站无法访问

图 4:FIREWALLD DENY 2

  同样的,我也整理了一份清单上传到 GitHub,链接:vircloud/ips,可以作为参考。

  当然了,思想有多远,就有多少方法去屏蔽垃圾蜘蛛爬取,并不局限于上述三个方法,大家都可以去试试。

推荐站点

  • 报告大厅报告大厅

    报告大厅(www.chinabgao.com)是国内外最权威的市场研究报告及调研报告服务提供商。提供研究报告、市场研究报告、行业报告、行业研究报告、调研报告、市场调查报告、项目可行性研究、商业计划书、数据报告、免费报告及行业年鉴,行业名录等。优势报告有: 能源电力研究报告,机械电子行业报告,建材房产调研报告及其它18个大行业报告300多个小行业报告,为用户带来权威的市场研究、市场调研及市场前景预测等方面服务。免费咨询电话:400-817-8000

    www.chinabgao.com
  • 艾上别墅设计艾上别墅设计

    杭州艾上装饰,服务于中国精英阶层,打造高端豪宅,专注-别墅排屋装修及高档住宅装修设计,别墅装修知名品牌.杭州别墅装修咨询专线:0571-85305257 艾上国际设计,为品质服务而生,打造客户口碑第一装修品牌.是以高端别墅、公寓为主体,融合商业设计、商业工程为一体的专业化装饰企业.

    www.51assj.com
  • 闲鱼网闲鱼网

    闲鱼.淘宝二手是一个社区化的二手闲置交易市场,不仅支持各种同城及线上的担保交易,更安全,同时还有最专业的放心购二手商家,让你轻松在这买卖二手闲置。

    2.taobao.com
  • 小米商城小米商城

    小米商城直营小米公司旗下所有产品,囊括小米手机系列小米MIX 3、小米8、小米Note 3,红米手机系列红米5 Plus、红米6 Pro,智能硬件,配件及小米生活周边,同时提供小米客户服务及售后支持。

    www.mi.com
  • 戏骨电影戏骨电影

    戏骨影院2019电影最新电影最新电视剧西瓜影音百度影音,电视剧,卡通片,综艺片,体育世界,记录片等高清电影以及伦理电影在线免费观看

    www.xigu.fun