使用 Curl 下载大型 CSV

使用 Curl 下载大型 CSV

我在 Windows 7 上通过 Cygwin 使用 curl 从 Apache Solr 下载 CSV 格式的内容。这是我在 for 循环中运行的命令

curl -o ret-key-data-$i.csv $URL

由于内容非常大,我一次下载 10 万行。每个文件大小约为 4mb。但是,如果我将行数增加到 100 万,curl 不会将任何内容写入磁盘。

我必须设置什么其他选项来确保卷曲可以处理更大的内容吗?

编辑:该命令没有给出错误。它没有挂起。它等待一段时间并成功结束,但生成一个零 kb 文件。看起来网络超时了。

相关内容