欢迎光临31℃,本博分享:
开源项目/软件/主机/灵修/美文

archive.org_bot是什么爬虫?文档收集小组?

发现一个蜘蛛archive.org_bot来抓取页面,估计是一个类似互联网快照的平台。
The Internet Archive’s Collections Team started this blog to highlight new collections and interestingitems…
2018-03-20 19:02:42 W9SVC18609 ip GET /robots.txt – 80 – 207.241.232.49 Mozilla/5.0+(compatible;+archive.org_bot++http://www。archive。org/details/archive.org_bot) 301 0 0

archive.org_bot会访问robots文件,可以通过该文件设置访问权限

 

 

赞(0)
未经允许不得转载:三十一度 » archive.org_bot是什么爬虫?文档收集小组?

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址