推广 热搜: 后台  帝国cms  位置  DESTOON  网站  帝国cms建站  Wordpress教程  内容  邮箱  MAC系统 

网站日志要如何判断百度蜘蛛ip真假

   日期:2024-05-22     浏览:85    违规举报
 
腾讯云服务器优惠

在网站日志里经常可以看到一些伪百度蜘蛛IP,比如:出现了 *.baidu.abc.com ,这个乍一看像极了,但是仔细一看,就看出来了,这个域名其实是abc.com。Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议使用DNS反查方式来确定抓取来源的ip是否属于百度


例如,在linux平台下,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.


在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\documents and Settings\Administrator>nslookup 123.125.66.120
查询结果如下:
Name:     baiduspider-123-125-66-120.crawl.baidu.com

Address:   123.125.66.120

提示:

1、Baiduspider绝对不会以匿名的方式抓取网页

2、Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即是冒充

3、Nslookup(name server lookup)( 域名查询):是一个用于查询internet域名信息或诊断DNS服务器问题的工具

上图名称为:220.181.108.105这样的以名称中带有baiduspide,和crawl.baidu.com是属于百度自己服务器的蜘蛛,除此之外,都属于假蜘蛛。
发现假百度蜘蛛就要及时的在服务器上屏蔽这个IP,以防止服务器资源被耗尽

 
免责声明:
1、本站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。
2、本站部分作品内容是由网友自主投稿和发布、编辑整理上传,对此类内容本站仅提供交流平台,不为其版权负责,更不为其观点承担任何责任。
3、因行业及专业性有限,故未能核验会员发布内容的真实性及有效性,不为其负责,如有虚假或违规内容敬请准备材料图片发邮件到info@n360.cn举报,本站核实后积极配合删除。
4、如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时处理或删除。
 
打赏
 
更多>同类网站技术
0相关评论

推荐图文
推荐网站技术
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  免责声明  |  版权隐私  |  信息发布规则  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  粤ICP备2020081222号
Powered By DESTOON