![服务器上 Facebook 爬虫的点击率很高](https://linux22.com/image/704841/%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%20Facebook%20%E7%88%AC%E8%99%AB%E7%9A%84%E7%82%B9%E5%87%BB%E7%8E%87%E5%BE%88%E9%AB%98.png)
每天有大约 3000 个或更多来自 Facebook 爬虫的 404 命中。日志如下
X.X.X.X Y.Y.Y.Y - - [24/May/2017:03:43:35 +0000] "GET /health-and-medicine/trumps-2018-budget-cuts-funding-for-cancer-mental-health-and-hiv-research/ HTTP/1.1" 404 292 "http://m.facebook.com" "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 [FBAN/FBIOS;FBAV/87.0.0.44.70;FBBV/54482584;FBDV/iPhone8,4;FBMD/iPhone;FBSN/iOS;FBSV/10.3.1;FBSS/2;FBCR/Sprint;FBID/phone;FBLC/en_US;FBOP/5;FBRV/55128799]"
X.X.X.X Y.Y.Y.Y - - [23/May/2017:03:19:40 +0000] "GET /environment/mount-everests-famous-hillary-step-destroyed-by-2015-nepal-earthquake/ HTTP/1.1" 404 280 "http://m.facebook.com/" "Mozilla/5.0 (Linux; Android 5.1.1; LGL82VL Build/LMY47V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 [FB_IAB/FB4A;FBAV/111.0.0.18.69;]"
需要知道如何阻止这些命中吗?这些命中不是来自单个 IP、单个子网范围或单个路径。
此外,应用程序中也没有任何类型的 Facebook 集成。
编辑:我添加了一个日志示例,因为有些人可能会混淆它来自 ios
答案1
抱歉,你误会了。
这不是 Facebook 爬虫。相反,此日志是由 Facebook 移动应用程序(提供的日志表明 iOS 和 Android)生成的,它从您的服务器获取了一篇文章。