2017年最新百度谷歌360等搜索引擎蜘蛛名称及搜索引擎蜘蛛真假判断
发布日期:2016/12/31 10:21:46
1、百度蜘蛛:Baiduspider
网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等,这些名称都不是太准确。网页抓取百度蜘蛛最新名称为Baiduspider,是用百度来抓取网页的蜘蛛。图片抓取百度蜘蛛准确名称为Baiduspider-image,是用来抓取图片的蜘蛛。
常见的百度蜘蛛还有移动网页抓取蜘蛛Baiduspider-mobile(抓取wap)、百度视频抓取蜘蛛Baiduspider-video(抓取视频)、百度新闻抓取蜘蛛Baiduspider-news(抓取新闻)。
如何判断百度蜘蛛真假
使用DNS反查方式可以确定抓取来源的ip是否属于百度,根据平台不同验证方法也有所不同:
    
在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
$ host 123.125.66.120 
120.66.125.123.in-addr.arpa domain name pointer 
baiduspider-123-125-66-120.crawl.baidu.com.
 
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer 
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
 
在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
2、谷歌蜘蛛:Googlebot
谷歌网页抓取蜘蛛最新名称为“compatible; Googlebot/2.1;”。谷歌移动网页抓取蜘蛛名称为Googlebot-Mobile,看名字是抓取wap内容的。
 
3、360蜘蛛:
360搜索网页抓取蜘蛛最新名称为360Spider或HaosouSpider。
 
4、搜狗蜘蛛:Sogou+web+spider/4.0
搜狗网页抓取蜘蛛最新名称为Sogou+web+spider/4.0,搜狗蜘蛛还包括如下这些:Sogou+inst+spider、Sogou+spider2、Sogou+blog、Sogou+News+Spider、Sogou+Orion+spider,
 
搜狗最常见蜘蛛为"Sogou+web+spider/4.0" ;"Sogou+News+Spider/4.0" ;"Sogou+inst+spider/4.0"。
 
5、必应蜘蛛:bingbot 
必应网页抓取蜘蛛最新名称为(compatible; bingbot/2.0;)
 
6、一搜蜘蛛:YisouSpider
一搜网页抓取蜘蛛最新名称为YisouSpider,同时Yisouspider也是神马搜索的网页爬虫,同时也在为CNZZ云推荐提供服务。
 
7、神马蜘蛛:YisouSpider
神马网页抓取蜘蛛最新名称为YisouSpider
北京pk10直播 北赛车pk10 北京pk10正规平台平台 k1065次列车时刻表 北京pk10教程
北京pk10的玩法 北京赛车开奖统计 pk10有没有1.95返水盘 北京pk拾在线预测 北京赛车pk10是什么彩
北京赛车计划软件免费 北京赛车pk10走势分析 北京pk10反水 北京赛车输钱经历 北京pk10害死多少人
北京pk10开奖记录采集 pk10双单预软件 自动换ip注册账号软件 易算pk10手机版ios pk10868
六合彩 幸运农场主题店 安徽快3三不同三码遗漏数据 江苏7位数最新开奖结果 新疆时时彩开奖时间
湖南幸运赛车开奖直播 pk10计划 时时彩走势图 秒速赛车是哪里的 广西快3三同号
重庆时时彩日赚800 北京福彩快3 香港赛马会开奖 香港赛马会三个半波 拉菲时时彩平台骗局
北京赛车pk10 新疆十一选五走势图360 福彩3d独胆王 上海快3开奖结果走势图近50期 湖北30选5今天开奖结果查询结果