您所在的位置： >
网站抓取:如何用程序识别Baiduspider ua
近日 ，Baiduspider针对移动抓取user agent(以下简称ua)进行了升级，与PC端的抓取ua做到版本统一，均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看，不管是移动ua还是PC ua都包含有关键字Baiduspider，我们可以由此判断访客ua是不是来自百度。与PC ua不同的是，移动ua包含有关键字android和mobile，再通过这两个关键字，我们就可以识别出来访的访客ua是移动ua还是pc ua。
通过以上判断逻辑，我们可以很容易判断出来访的ua类型。下面是如何通过主流的php和asp语言来判断来访的ua类型。
　　php版：
$ua=$_SERVER['HTTP_USER_AGENT'];
$ua=strtolower($ua);
if($ua!="" &&strpos($ua,"baiduspider")){
if(strpos($ua,"android") || strpos($ua,"mobile")){
echo "是百度移动UA";
echo "是百度PCUA";
echo"不是baiduspider UA";
ua=Request.ServerVariables("HTTP_USER_AGENT")
ua=LCase(ua)
if ua"" andInStr(ua,"baiduspider")0 then
ifInStr(ua,"android")0 or InStr(ua,"mobile")0then
response.write "是百度移动 UA"
response.write"是百度PC UA"
response.write "不是baiduspiderUA"
以上demo可以用来简单判断来访ua是否是Baiduspiderua，以及是什么类型的ua，在实际使用过程中，请稍加修改后使用。
站长基地刊登此文只为传递信息，并不表示赞同或者反对作者观点。
如果此内容给您造成了负面影响或者损失，本站不承担任何责任。
如果内容涉及版权问题，请及时与我们取得联系。
免责声明:本站所有资源均来源于网络，如有侵权请及时告知我们，否则由此带来的损失本站概不负责.
业务合作：QQ（） E-mail（） 投诉&意见反馈：
Copyright [站长基地] www.zzjidi.com online services. All rights reserved.根据Baiduspider ua(User Agent)识别百度蜘蛛
根据Baiduspider ua(User Agent)识别百度蜘蛛
早前的时候，有问过我说百度蜘蛛是不是有专门的pc蜘蛛和移动蜘蛛，其实(事实上)Baiduspider(百度蜘蛛)并不存在PC和移动蜘蛛之分，目前统一都是Baiduspider/2.0。区分移动端抓和pc抓取或者访问的方法就是看ua。
下面是整理的根据Baiduspider ua(User Agent)识别百度蜘蛛相关资料：
Baiduspider(百度蜘蛛)ua介绍：
1、PC ua：Mozilla/5.0 ( Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
2、移动 ua：Mozilla/5.0 (Lu;Android 4.2.2;zh-) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/ ( Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
识别Baiduspider(百度蜘蛛)ua的小技巧：
既然我们知道百度蜘蛛都是Baiduspider/2.0，那我们在做网站访客的时候，就可以通过这一关键词来分析是不是百度蜘蛛的访问了。如果是想要区分pc和移动抓取或者访问的话
1. 在日志的ua数据中包含关键词“Android”或者“Mobile”，并且带有“Baiduspider/2.0”，则是百度蜘蛛移动访问或者抓取；
2. 反之，在日志的ua数据中仅有关键词“Baiduspider/2.0”,没有“Android”或者“Mobile”，则判断为百度pc蜘蛛访问或者抓取。
虽然我们正确的识别了Baiduspider ua，但是并不代表者这就是真正的百度蜘蛛的访问或抓取。正确识别方法，大家可以参考《》
文章均为(张鹏阳)原创，转载请标明出处，并保留链接:
& & & &==张鹏阳QQ:==
& &文章的阅读，要细之再细，从一边文章中提取营养，并且把他转化成为自己的东西，这样才算是读懂了这篇文章！博客分类：
百度蜘蛛的UserAgent:
---------------------------------------------------------------------
60.28.22.38 - - [11/Jan/:09 -0700] "GET www.k686.com HTTP/1.1" 200 27406 "http://www.k686.com/" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
Referer: ""
UserAgent: "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
Googlebot的UserAgent:
---------------------------------------------------------------------
66.249.70.212 - - [11/Jan/:35 -0700] "GET www.k686.com HTTP/1.1" 200 8148 "-" "Mozilla/5.0 ( Googlebot/2.1; +http://www.google.com/bot.html)"
Referer: ""
UserAgent: "Mozilla/5.0 ( Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.70.212 - - [11/Jan/:23 -0700] "GET www.k686.com HTTP/1.1" 200 2367 "-" "Googlebot-Image/1.0"
Referer: ""
UserAgent: "Googlebot-Image/1.0"
209.85.238.7 - - [11/Jan/:58 -0700] "GET www.k686.com HTTP/1.1" 404 37 "-" "Feedfetcher-G (+http://www.google.com/feedfetcher. 10 feed-id=7526569)"
Referer: ""
UserAgent: "Feedfetcher-G (+http://www.google.com/feedfetcher. 10 feed-id=7526569)"
YAHOO
---------------------------------------------------------------------
202.160.180.81 - - [11/Jan/:44 -0700] "GET www.k686.com HTTP/1.0" 200 14250 "-" "Mozilla/5.0 ( Yahoo! Slurp C http://misc.yahoo.com.cn/help.html)"
Referer: ""
UserAgent: "Mozilla/5.0 ( Yahoo! Slurp C http://misc.yahoo.com.cn/help.html)"
67.195.37.167 - - [11/Jan/:00 -0700] "GET www.k686.com HTTP/1.0" 200 12609 "-" "Mozilla/5.0 ( Yahoo! S http://help.yahoo.com/help/us/ysearch/slurp)"
Referer: ""
UserAgent: "Mozilla/5.0 ( Yahoo! S http://help.yahoo.com/help/us/ysearch/slurp)"
有道
---------------------------------------------------------------------
09:54:12 W3SVC2.33.192.54 GET www.k686.com - 80 - 61.135.219.7 Mozilla/5.0+(+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) - 200 0 0
Referer: ""
UserAgent: "Mozilla/5.0 ( YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
61.135.249.120 - - [11/Jan/:46 -0700] "GET www.k686.com HTTP/1.1" 404 - "-" "Mozilla/5.0 ( YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
Referer: ""
UserAgent: "Mozilla/5.0 ( YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
SOSO
---------------------------------------------------------------------
58.61.164.207 - - [11/Jan/:53 -0700] "GET www.k686.com HTTP/1.1" 404 - "http://www.k686.com" "Sosospider+(+http://help.soso.com/webspider.htm)"
Referer: ""
UserAgent: "Sosospider+(+http://help.soso.com/webspider.htm)"
10:48:28 W3SVC2.33.192.54 GET www.k686.com - 80 - 124.115.4.218 Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm) http://www.k686.com/ 200 0 0
Referer: ""
UserAgent: "Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)"
Sogou
---------------------------------------------------------------------
219.234.81.41 - - [11/Jan/:49 -0700] "GET www.k686.com/ HTTP/1.0" 200 14250 "-" "Sogou Web Sprider( Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant B InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
Referer: ""
UserAgent: "Sogou Web Sprider( Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant B InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
220.181.61.217 - - [11/Jan/:57 -0700] "GET www.k686.com HTTP/1.1" 302 5 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
220.181.19.74 - - [11/Jan/:37 -0700] "GET www.k686.com HTTP/1.1" 200 27406 "-" "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
220.181.19.78 - - [11/Jan/:18 -0700] "GET www.k686.com HTTP/1.1" 404 - "http://pic.sogou.com/" "Mozilla/4.0 ( MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
Referer: "http://pic.sogou.com/"
UserAgent: "Mozilla/4.0 ( MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
219.234.81.27 - - [11/Jan/:41 -0700] "GET www.k686.com/ HTTP/1.1" 200 14271 "-" "Sogou-Test-Spider/4.0 ( MSIE 5.5; Windows 98)"
Referer: ""
UserAgent: "Sogou-Test-Spider/4.0 ( MSIE 5.5; Windows 98)"
17:23:59 W3SVC2.33.192.54 HEAD www.k686.com - 80 - 220.181.19.107 Sogou+head+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) - 200 0 0
浏览 14031
化蝶自在飞
浏览: 1911183 次
来自: 武汉
啥原理……貌似很神奇啊
注意upload.js的配置参数 sendAsBinary
增加一个微信内置浏览器的useragent:
Mozilla/ ...
leiliang10 写道你揍是个骗纸此话怎讲?这个工具是我自 ...
你揍是个骗纸
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix'【网站抓取】如何正确识别Baiduspider移动ua - A5创业网
扫一扫，联系编辑获得审核机会
符合以下要求，获得报道机会
1. 新公司求报道
2. 好项目求报道
3. 服务商求报道
4. 投资融资爆料
客服热线：400-995-7855
当前位置：&&&
【网站抓取】如何正确识别Baiduspider移动ua
14:25&&来源：百度站长平台&
　　百度站长平台发布公告宣布新版Baiduspider移动ua上线，同时公布了PC版Baiduspider ua，那么该如何正确识别移动ua呢?我们百度站长平台技术专家孙权老师给出了答案：
　　新版移动ua:
　　Mozilla/5.0 (Lu;Android 4.2.2;zh-) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/ ( Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
　　PC ua:
　　Mozilla/5.0 ( Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
　　之前通过&+http://www.baidu.com/search/spider.html&进行识别的网站请注意!您需要修改识别方式，新的正确的识别Baiduspider移动ua的方法如下：
　　1. 通过关键词&Android&或者&Mobile&来进行识别，判断为移动访问或者抓取。
　　2. 通过关键词&Baiduspider/2.0&,判断为百度爬虫。
　　另外需要强调的是，对于robots封禁，如果封禁的agent是Baiduspider，会对PC和移动同时生效。即，无论是PC还是移动Baiduspider，都不会对封禁对象进行抓取。之所以要强调这一点，是发现有些代码适配站点(同一个url，PC ua打开的时候是PC页，移动ua打开的时候是移动页)，想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的，但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。
责任编辑：田田
延伸阅读：关键词：
微企点：海量精美模板 H5自助建站平台
扫描二维码关注A5创业网了解最新创业资讯服务
&徐州八方网络科技有限公司&版权所有&
举报投诉邮箱：
扫一扫关注最新创业资讯教你如何通过查看UA和反查IP正确识别百度蜘蛛
兼职实战者 | 发布于
经常听到站长们问，百度蜘蛛是什么？最近百度蜘蛛来的太频繁服务器抓爆了，最近百度蜘蛛都不来了怎么办，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP不固定，我们无法对外公布。
那怎么才能识别正确的百度蜘蛛呢？来来来，只需两步，教你如何正确识别百度蜘蛛！
1、查看UA，如果UA都不对，可以直接判断非百度搜索的蜘蛛，目前对外公布过的UA是：
Mozilla/5.0 (Lu;Android 4.2.2;zh-) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/ (Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
Mozilla/5.0 ( Baiduspider/2.0;+http://www.baidu.com/search/spider.html）
新增渲染UA:
Mozilla/5.0 (iP CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 ( Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0 (Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：
1）在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp 即为冒充。
# host 123.125.66.120
# 120.66.125.123.in-addr.arpa domain name pointer Baiduspider-123-125-66-120.crawl.baidu.com
# host 119.63.195.254
# 254.195.63.119.in-addr.arpa domain name pointer BaiduMobaider-119-63-195-254.crawl.baidu.jp
2）在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com 或*.baidu.jp即为冒充。
3）在mac os平台下，您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即为冒充。
来源：，本文链接：，转载请注明出处！
热点聚合：
随着百度算法不断推陈出新，大量网站流量开始出现断崖式下滑，高质量的优质内容越来越被搜索引擎亲睐，很多...
小宇在一家企业担任能使自己走上人生巅峰的SEO职位，每天呕心沥血写原创，挖掘关键词，花了几个月的时间排名...
为了给用户提供一个安全可靠的网络环境，继启用https加密之后，百度搜索再次重磅推出：全面支持https页面直接...
随着移动互联网的快速发展，移动端的网站也纷纷融入人们的生活，而某些网站在pc端上某个关键词或许有排名，...
网站收录是否正常关乎于网站seo优化的效果，也就是说网站是否被收录决定了网站关键词排名机会的重要条件。那...
经常听到站长们问，百度蜘蛛是什么？最近百度蜘蛛来的太频繁服务器抓爆了，最近百度蜘蛛都不来了怎么办，还...
站长推荐项目}