我观察到很多 robots.txt 文件，其中一个名为“BBBike”的用户代理被阻止。我很好奇这背后的故事。有人知道吗？或者也许只是发生了一些事情，我们继续这样做，但不知道为什么？
谷歌搜索 BBBike 会给我带来很多自行车商店或地图，但我怀疑他们会随机抓取网站。或者情况确实如此？
例子： https://www.who.int/robots.txt https://www.mifotra.gov.rw/robots.txt
用户代理“BBBike”是什么？
我观察到很多 robots.txt 文件，其中一个名为“BBBike”的用户代理被阻止。我很好奇这背后的故事。有人知道吗？或者也许只是发生了一些事情，我们继续这样做，但不知道为什么？
谷歌搜索 BBBike 会给我带来很多自行车商店或地图，但我怀疑他们会随机抓取网站。或者情况确实如此？
例子： https://www.who.int/robots.txt https://www.mifotra.gov.rw/robots.txt