是否有定期更新的 Bot/Spider/Crawler 数据库？

Question

我正在寻找一个定期更新不同机器人、蜘蛛和爬虫的数据库。我希望能够在 IIS 的日志文件中识别它们。

Answer 1

用户代理.org拥有相当大的用户代理/蜘蛛等数据库。它似乎会定期更新（上次更新时间为 2009 年 2 月 28 日）。数据可通过 RSS/XML 获取。