常见的搜索引擎蜘蛛大全
百度蜘蛛
百度蜘蛛：Baiduspider
百度蜘蛛爬虫UA："Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
百度其他蜘蛛：Baiduspider-render/2.0
PC端：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动端：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
百度图片蜘蛛：Baiduspider-image
百度其他蜘蛛："Baiduspider+(+http://www.baidu.com/search/spider.htm)"
图片：“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”
百度搜索其他不常见蜘蛛：Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap)
PS：百度还有很多蜘蛛，比如广告联盟蜘蛛。
谷歌蜘蛛(Google)
Google蜘蛛：Googlebot
Google蜘蛛爬虫UA："Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Google图片蜘蛛：“Googlebot-Image/1.0”
搜狗蜘蛛
搜狗蜘蛛：Sogou web spider
搜狗蜘蛛爬虫UA：Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
360蜘蛛
360蜘蛛：360Spider
360蜘蛛爬虫UA："Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider"
Bing蜘蛛
Bing蜘蛛：bingbot
Bing蜘蛛爬虫UA："Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
神马搜索蜘蛛
神马搜索蜘蛛：YisouSpider
神马搜索蜘蛛爬虫UA："Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
其他抓取网站内容的蜘蛛
Yandex蜘蛛：YandexBot
Yandex是俄罗斯本地的搜索引擎公司，并且在俄罗斯本地的市场份额已远超俄罗斯Google，和百度有些类似的感觉。
Yandex蜘蛛爬虫UA："Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Ahrefs蜘蛛：AhrefsBot
Ahrefs是一个国外seo工具，通常使用Ahrefs分析网站及网站外链。
Ahrefs蜘蛛爬虫UA："Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)"
SEMrush蜘蛛：SemrushBot
semrush是一个国外网站分析工具，可以分析网站流量，网站竞价，网站SEO数据，网站外链等等。
"Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
Majestic蜘蛛：MJ12bot
Majestic是国外一个SEO分析工具，一个不错的外链分析工具，笔者也常常使用。
Majestic蜘蛛爬虫UA："Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"
Moz蜘蛛：DotBot
Moz是国外著名的SEO工具网站，Moz旗下的链接分析网站opensiteexplorer专门用来分析网站外链，DotBot蜘蛛就是为其抓取网络资源的蜘蛛
Moz蜘蛛爬虫UA："Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, [email protected])"
其他蜘蛛：Bytespider
据说是字节跳动(今日头条)的蜘蛛，今日头条2019年开始布局搜索市场
蜘蛛UA："Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.3381.1163 Mobile Safari/537.36; Bytespider"
笔者博客蜘蛛数量有限，暂时收集到这些蜘蛛，之后会不定期更新抓取网站的蜘蛛。 感谢大家观看笔者的文章，如有疑惑，欢迎探讨闲篇。
