尝试从大型 CSV 文件中导出单列数据

Question

问题：我正在尝试将一个大小为 7 GB 的 .CSV 文件的单列（大到我无法在 Excel 中打开整个文件……或者大多数文本编辑器）导出到一个较小的文件，然后我可以使用或放入数据库，而无需所有不需要的信息。

Power Query：我已经与文件建立了“连接”，然后仅选择了所需的列，但我不确定是否有办法导出它。

选择？：或者，使用 Powershell 很可能有一种方法，根据我所见这个问题，但我不知道从哪里开始。

如果有任何其他资源可以更好地满足此要求，那么任何能够帮助我指明正确方向的东西都会很棒。

任何帮助是极大的赞赏！

Answer 1

使用 PowerShell 方法

Import-csv -Path $LargeFileName | Select-Object -Property $ColumnName | Export-Csv -Path $OutFileName -NoTypeInformation

根据您的要求调整变量 LargeFileName.csv、Header ColumnName 和 OutFileName.csv

以下 PowerShell 方法使用 gc 和 ConvertFrom-Csv 来提供更快的结果。

$CSV = Get-Content $LargeFileName | ConvertFrom-Csv | Select $ColumnHeading | Export-Csv -Path $OutFileName -NoTypeInformation

要获得更多标题，请使用逗号分隔

$CSV = Get-Content $LargeFileName | ConvertFrom-Csv | Select $ColumnHeading1, $ColumnHeading2  | Export-Csv -Path $OutFileName -NoTypeInformation

Answer 2

我建议你看看文字问答（免责声明 - 我是它的开发者）。它可以导入大型 CSV 文件，并允许您管理其架构/结构（例如重命名或隐藏列）

您可以通过 UI 查询生成器或 SQL 执行查询。

然后，您可以将数据导出到 CSV 文件，该文件可以导入 MS Excel 或其他文件。

您可以从Mac 应用商店或 Microsoft Store（即将推出）。