我有一个受登录保护的网站，我知道其登录用户名和密码。我需要使用 WinHTTrack 来克隆该网站。 我在网上看到了很多教程，但没有一个对我有用，当我按照说明操作时，什么也没发生，浏览器的链接永远不会发送到 WinHTTrack 他们要求临时设置代理地址和端口，但这对我来说不起作用。 我参考的一些教程： http://httrack.kauler.com/help/CatchURL_tutorial https://www.techwalla.com/articles/how-to-configure-httrack-for-a-website-with-...
我尝试过并阅读了互联网上关于为 Tor 散列新密码的各种文章。我的 Tor 安装在本地磁盘 D 中，我在命令提示符中使用了以下命令 D:\softwares\tor\Tor Browser\Browser>firefox --hash-password <my password> | more D:\softwares\tor\Tor Browser\Browser>firefox --hash-password <my password> > tor-password.txt 获取哈希密码的输出，但没有哈希密码的...
我尝试在 Google 上输入 site:site.com [搜索词]，但 site.com 通过其 robots.txt 阻止 Google 将其编入索引。我该如何解决这个问题？我能否自行下载并编入整个网站索引，然后搜索我自己的私人索引？ ...
问题概述 我正在尝试从以下地址创建所有文件（100 个）的列表（并可能下载）：https://eba.europa.eu/regulation-and-policy 我每周都会在工作中使用它来识别网站上的变化或新项目。 为每个文件手动执行此操作的 5 次点击如下： https://eba.europa.eu/ https://eba.europa.eu/regulation-and-policy https://eba.europa.eu/regulation-and-policy/accounting-and-auditing https://eba.e...
我必须发出大量请求才能抓取网站数据。仅我的计算机发出所有这些请求需要花费太多时间，因此我改为在 7 台虚拟机上运行 Python 脚本。在我的 Windows PC 上，每个请求大约需要 0.25 秒，但在虚拟机 (linux) 上，它们通常需要 0.15 秒，但大约 4 个请求中有 1 个似乎卡住了，需要 3-5 秒。这大大减慢了抓取速度...为什么会这样？！我怎样才能让它像在我的小型电脑上一样好用？感谢您的帮助 ...
Indexing 1000/1000 documents Deleting 0 documents Indexing 1000/1000 documents Deleting 0 documents Indexing job did not succeed, job status:FAILED, reason: NA Indexer: java.lang.RuntimeException: Indexing job did not succeed, job status:FAILED, reason: NA at org.apache.nutch.i...
我正在运行以下命令 wget -d -e robots=off --recursive -l 10 -w 6.8 -t 3 -nc --random-wait -T 10 -R "*.js, *.css, *.jsp, *.mp3, *.mp4, *.swf, *.apk, *.pdf, *.css, *.doc, *.docx, *.xls, *.xlsx, *.jpg, *.jpeg, *.gif, *.JPG, *.JPEG, *.png, *.PNG" --server-response http://www.wuli.ac.cn/CN/volum...
我正在尝试从以下位置执行 Twitter 抓取代码：https://github.com/jonbakerfish/TweetScraper 当我在命令提示符中运行命令scrapy list以确保抓取工具设置正确时，出现以下错误： from scrapy.conf import settings ModuleNotFoundError: No module named 'scrapy.conf'". 我尝试过重新安装 scrapy 和许多其他方法，但似乎都无济于事。有人能帮帮我吗？ ...
目前我正在开发一项功能，利用该功能我应该能够跟踪电子邮件及其中的链接。因此，当用户点击图像中的链接时，我会在数据库中输入一些条目，以便我可以分析用户在电子邮件中的行为 当用户点击电子邮件时，我会获得详细信息（链接、ip、链接所在位置、用户代理）。 问题：用户点击链接几秒钟后，我从一次点击中获得大约 2 个条目 - 一个条目是带有用户 ip 的真实点击，第二个条目是 google-ip - 我猜这是 google 爬虫或图像代理服务器。 我想，当 Google 有这样的“机制”时，其他人也会有。hotmail、yahoo、gmx 等，谁知道还有多少其他人...
我正在尝试复制一个网站的完整内容；例如， http://vfilesarchive.bgmod.com/files/ 我在跑 wget -r -level=inf -R "index.html*" --debug http://vfilesarchive.bgmod.com/files/ 例如 Deciding whether to enqueue "http://vfilesarchive.bgmod.com/files/Half-Life%D0%92%D0%86/". Already on the black list. Decided N...
我准备编写一个网络爬虫，但在此之前我想知道可以爬取什么。 如果我错了请告诉我，但是在 robots.txt 中网站指示的是文件夹而不是可以和不能抓取的 URL，那么我们如何知道 URL 属于哪个文件夹？ ...
我正在寻找一个软件或浏览器扩展（最好使用 Chrome），它可以自动将我查看过的所有网页保存在本地。 据我所知，Firefox 中有一款名为 ScrapBook 的程序，但是 60 版之后不再支持 FireFox。 ...
我想创建一个只有我和其他人才有权查看的网页。 我不想在其上使用任何身份验证（用户名/密码、证书等）。 我的问题是：如果我从自己的 Web 服务器提供网站，并且不将内容放在端口 80 上的根目录中（即 mywebsite.com/hidden），其他人是否有办法找到它？从我读到的有关网络爬虫的信息来看，它们只会找到有链接的页面。有没有我没有想到的其他攻击媒介？除了暴力搜索（mywebsite.com/brute/force/this/path）？ ...
我有一个巨大的 URL 列表。它看起来像这样： www.example.com/api/users/1.json www.example.com/api/users/2.json www.example.com/api/users/3.json 并继续约 400,000 次。目的是在所有页面中查找特定的文本字符串。有人知道我该怎么做吗？ ...
我想递归下载经过 Google 身份验证的网站。我在 Chrome 商店中发现了很多链接，这些链接允许我下载当前打开的网页，但它们都没有跟踪链接。 有什么建议吗？我猜 wget 和桌面应用程序无法工作，因为它无法使用 Google 进行身份验证... ...