欢迎光临31℃,本博分享:
开源项目/软件/主机/灵修/美文

常见的搜索引擎蜘蛛useragent大全

常见的搜索引擎蜘蛛大全
百度蜘蛛
百度蜘蛛:Baiduspider

百度蜘蛛爬虫UA:”Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”

百度其他蜘蛛:Baiduspider-render/2.0

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

百度图片蜘蛛:Baiduspider-image

百度其他蜘蛛:”Baiduspider+(+http://www.baidu.com/search/spider.htm)”

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

百度搜索其他不常见蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap)

PS:百度还有很多蜘蛛,比如广告联盟蜘蛛。

谷歌蜘蛛(Google)
Google蜘蛛:Googlebot

Google蜘蛛爬虫UA:”Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

Google图片蜘蛛:“Googlebot-Image/1.0”

搜狗蜘蛛
搜狗蜘蛛:Sogou web spider

搜狗蜘蛛爬虫UA:Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

360蜘蛛
360蜘蛛:360Spider

360蜘蛛爬虫UA:”Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider”

Bing蜘蛛
Bing蜘蛛:bingbot

Bing蜘蛛爬虫UA:”Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

神马搜索蜘蛛
神马搜索蜘蛛:YisouSpider

神马搜索蜘蛛爬虫UA:”Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36″

其他抓取网站内容的蜘蛛
Yandex蜘蛛:YandexBot
Yandex是俄罗斯本地的搜索引擎公司,并且在俄罗斯本地的市场份额已远超俄罗斯Google,和百度有些类似的感觉。

Yandex蜘蛛爬虫UA:”Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)”

Ahrefs蜘蛛:AhrefsBot
Ahrefs是一个国外SEO工具,通常使用Ahrefs分析网站及网站外链。

Ahrefs蜘蛛爬虫UA:”Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)”

semrush蜘蛛:SemrushBot
semrush是一个国外网站分析工具,可以分析网站流量,网站竞价,网站SEO数据,网站外链等等。

“Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)”

Majestic蜘蛛:MJ12bot
Majestic是国外一个SEO分析工具,一个不错的外链分析工具,笔者也常常使用。

Majestic蜘蛛爬虫UA:”Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)”

Moz蜘蛛:DotBot
Moz是国外著名的SEO工具网站,Moz旗下的链接分析网站opensiteexplorer专门用来分析网站外链,DotBot蜘蛛就是为其抓取网络资源的蜘蛛

Moz蜘蛛爬虫UA:”Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, [email protected])”

其他蜘蛛:Bytespider
据说是字节跳动(今日头条)的蜘蛛,今日头条2019年开始布局搜索市场

蜘蛛UA:”Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.3381.1163 Mobile Safari/537.36; Bytespider”

笔者博客蜘蛛数量有限,暂时收集到这些蜘蛛,之后会不定期更新抓取网站的蜘蛛。 感谢大家观看笔者的文章,如有疑惑,欢迎探讨闲篇。

赞(0)
未经允许不得转载:三十一度 » 常见的搜索引擎蜘蛛useragent大全

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址