Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准，给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准，作为这个努力的一部分，它开源了自己使用的 robots.txt 解析器，源代码托管在 github 上，采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库，用于解析和匹配 robots.txt 文件中的规则，它已经有约 20 年历史了，包含了 1990 年代写的代码。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
