用户代理“BBBike”是什么?

用户代理“BBBike”是什么?

我观察到很多 robots.txt 文件,其中一个名为“BBBike”的用户代理被阻止。我很好奇这背后的故事。有人知道吗?或者也许只是发生了一些事情,我们继续这样做,但不知道为什么?

谷歌搜索 BBBike 会给我带来很多自行车商店或地图,但我怀疑他们会随机抓取网站。或者情况确实如此?

例子: https://www.who.int/robots.txt https://www.mifotra.gov.rw/robots.txt

相关内容