![如何在 pyspark 中读取大型 zip 文件](https://linux22.com/image/1586421/%E5%A6%82%E4%BD%95%E5%9C%A8%20pyspark%20%E4%B8%AD%E8%AF%BB%E5%8F%96%E5%A4%A7%E5%9E%8B%20zip%20%E6%96%87%E4%BB%B6.png)
我在 s3 上确实有 n 个 .zip 文件,我想处理它们并从中提取一些数据。zip 文件包含一个 json 文件。在 spar 中我们可以读取 .gz 文件,但我找不到任何方法来读取 .zip 文件中的数据。有人能帮我解决如何使用 python 通过 spark 处理大型 zip 文件吗?我遇到了一些选项,比如 newAPIHadoopFile,但没有成功,也没有找到在 pyspark 中实现它们的方法。请注意,zip 文件大于 1G,有些甚至达到 20G。
我在 s3 上确实有 n 个 .zip 文件,我想处理它们并从中提取一些数据。zip 文件包含一个 json 文件。在 spar 中我们可以读取 .gz 文件,但我找不到任何方法来读取 .zip 文件中的数据。有人能帮我解决如何使用 python 通过 spark 处理大型 zip 文件吗?我遇到了一些选项,比如 newAPIHadoopFile,但没有成功,也没有找到在 pyspark 中实现它们的方法。请注意,zip 文件大于 1G,有些甚至达到 20G。