我正在网站上运行我的爬虫。我在想我应该在运行爬虫之前更改我的 IP,这样网站就不会阻止我。我尝试了 Proxy Switcher 软件,效果很好。
然后我访问了http://whatismyip.com
检查。但它显示了我的两个 IP。它显示“检测到代理”。
我想知道如果仍然检测到我的原始 IP,那么代理服务器有什么用?
答案1
您使用的代理可能会发送X-Forwarded-For
標軸。
我在想我应该在运行爬虫之前更改我的 IP,以便网站不会阻止我。
听起来你正在发明一种解决不存在的问题的方法。如果你不想让网站屏蔽你,请尊重他们的网站robots.txt
,不要每隔两秒钟就抓取一次他们的网站,这样你很可能就不会有事了。
至于试图隐藏在 7 个代理等后面,您可能需要切换到不转发您的 IP 的代理(可以选择这样做)或 VPN。
我想知道如果仍然检测到我的原始 IP,那么代理服务器有什么用?
在公司环境中,它们用于缓存和访问控制。