☰

Zstd 拼花地板减压

tag-icon • tag-icon linux apache-spark
Zstd 拼花地板减压

我有一个由 zstd 压缩的 parquet 文件。是否可以以某种方式解压缩它？我尝试使用 zstd 命令，但没有任何效果：

[x@xyz tmp]# zstd -d part-00016-303a375a-e443-4f86-a59e-b5d82d15bd26.c000.zstd.parquet -o test.parquet
zstd: part-00016-303a375a-e443-4f86-a59e-b5d82d15bd26.c000.zstd.parquet: unsupported format

答案1

可以通过支持 zstd parquet 读取的机器上的 spark-shell 来实现。

spark.read.option("compression", "zstd").parquet("/tmp/parquet-folder").write.option("compression", "none").mode("overwrite").parquet("/tmp/parquet-folder-no-compression")

相关内容