发现一个蜘蛛archive.org_bot来抓取页面，估计是一个类似互联网快照的平台。
The Internet Archive’s Collections Team started this blog to highlight new collections and interestingitems...
2018-03-20 19:02:42 W9SVC18609 ip GET /robots.txt - 80 - 207.241.232.49 Mozilla/5.0+(compatible;+archive.org_bot++http：//www。archive。org/deTails/archive.org_bot) 301 0 0

archive.org_bot会访问robots文件，可以通过该文件设置访问权限

 

 

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。