在网站日志里经常可以看到一些伪百度蜘蛛IP,比如:出现了 *.baidu.abc.com ,这个乍一看像极了,但是仔细一看,就看出来了,这个域名其实是abc.com。Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议使用DNS反查方式来确定抓取来源的ip是否属于百度。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\documents and Settings\Administrator>nslookup 123.125.66.120
查询结果如下:
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120
提示:
1、Baiduspider绝对不会以匿名的方式抓取网页。
2、Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即是冒充。
3、Nslookup(name server lookup)( 域名查询):是一个用于查询internet域名信息或诊断DNS服务器问题的工具。

上图名称为:220.181.108.105这样的以名称中带有baiduspide,和crawl.baidu.com是属于百度自己服务器的蜘蛛,除此之外,都属于假蜘蛛。
发现假百度蜘蛛就要及时的在服务器上屏蔽这个IP,以防止服务器资源被耗尽。