Sed 或 Awk（或其他）从 csv 文件中删除几列

Question 1

您的 CSV 数据具有包含嵌入逗号的字段，因此您必须使用正确的 CSV 解析器，而不仅仅是简单的逗号分割。此外，您的数据包含多字节（utf8？）字符，因此您需要使用可以处理它们的东西。

Perl 和磨坊主是不错的选择。如果我需要在打印之前对 CSV 文件进行更多处理或将 CSV 导入 SQL 数据库（一旦每一行都在数组$row引用中，您可以使用它做任何您想做的事情 - 在您的情况下，我会使用 perl） perl 脚本可以合并多个源文件，也许可以删除重复的条目或清理格式奇怪的内容，例如使用''而不是"英寸），并且miller如果我需要做的只是剪切一些字段。

使用磨坊主:

$ mlr --csv --hi --ho cut -x -f 1,5,9  input.csv

使用 Perl 和 Perl 的文本::CSV模块：

$ perl -MText::CSV -CSDA -e '
    my $file=shift;
    my $csv=Text::CSV->new();
    open(my $fh, "<", $file) or die "error opening $file:$!\n";
    while(my $row = $csv->getline($fh)) {
      foreach my $i (8,4,0) {splice @$row, $i, 1};
      $csv->say(STDOUT, $row)
    }' input.csv

注意：perl 数组从零开始，而不是从一开始，我以相反的顺序删除数组元素（使用 perlsplice函数），以避免在删除元素时索引重新编号的问题。

另请注意：Text::CSV它不包含在 perl 中，它需要从发行包（例如apt-get install libtext-csv-perl在 Debian 以及 Ubuntu 和 Mint 等衍生产品上）或使用cpan.

Answer

您的 CSV 数据具有包含嵌入逗号的字段，因此您必须使用正确的 CSV 解析器，而不仅仅是简单的逗号分割。此外，您的数据包含多字节（utf8？）字符，因此您需要使用可以处理它们的东西。

Perl 和磨坊主是不错的选择。如果我需要在打印之前对 CSV 文件进行更多处理或将 CSV 导入 SQL 数据库（一旦每一行都在数组$row引用中，您可以使用它做任何您想做的事情 - 在您的情况下，我会使用 perl） perl 脚本可以合并多个源文件，也许可以删除重复的条目或清理格式奇怪的内容，例如使用''而不是"英寸），并且miller如果我需要做的只是剪切一些字段。

使用磨坊主:

$ mlr --csv --hi --ho cut -x -f 1,5,9  input.csv

使用 Perl 和 Perl 的文本::CSV模块：

$ perl -MText::CSV -CSDA -e '
    my $file=shift;
    my $csv=Text::CSV->new();
    open(my $fh, "<", $file) or die "error opening $file:$!\n";
    while(my $row = $csv->getline($fh)) {
      foreach my $i (8,4,0) {splice @$row, $i, 1};
      $csv->say(STDOUT, $row)
    }' input.csv

注意：perl 数组从零开始，而不是从一开始，我以相反的顺序删除数组元素（使用 perlsplice函数），以避免在删除元素时索引重新编号的问题。

另请注意：Text::CSV它不包含在 perl 中，它需要从发行包（例如apt-get install libtext-csv-perl在 Debian 以及 Ubuntu 和 Mint 等衍生产品上）或使用cpan.

Question 2

由于您使用的是 GNU sed (for -i)，我假设您也有 GNU awk。您可以摆脱所有 sed 命令，因为当您使用 awk 时，您永远不需要 sed，只需运行此 1 awk 脚本（未经测试，因为没有磁力RE在问题中）：

awk -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( i !~ /^[159]$/ ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

例如，如果您想删除第 1、5、17 和 35 列，则只需更改i !~ /^[159]$/为i !~ /^([15]|17|35)$/或（如果您愿意）i !~ /^(1|5|17|35)$/。

如果您希望能够传递要跳过的字段列表，而不是将其硬编码在脚本中，请将上面的内容更改为：

awk -v skip='1,5,9' -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    BEGIN {
        patsplit(skip,tmp)
        for ( i in tmp ) {
            skipFlds[tmp[i]]
        }
    }
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( !(i in skipFlds) ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

完成测试并对结果感到满意后，更改awk为awk -i inplace更新输入文件（如）。sed -i

以上需要 GNU awk 来处理FPAT、patsplit()和-i inplace。

看使用 awk 高效解析 csv 的最稳健方法是什么有关使用 awk 解析 CSV 的更多信息。

Answer

由于您使用的是 GNU sed (for -i)，我假设您也有 GNU awk。您可以摆脱所有 sed 命令，因为当您使用 awk 时，您永远不需要 sed，只需运行此 1 awk 脚本（未经测试，因为没有磁力RE在问题中）：

awk -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( i !~ /^[159]$/ ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

例如，如果您想删除第 1、5、17 和 35 列，则只需更改i !~ /^[159]$/为i !~ /^([15]|17|35)$/或（如果您愿意）i !~ /^(1|5|17|35)$/。

如果您希望能够传递要跳过的字段列表，而不是将其硬编码在脚本中，请将上面的内容更改为：

awk -v skip='1,5,9' -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    BEGIN {
        patsplit(skip,tmp)
        for ( i in tmp ) {
            skipFlds[tmp[i]]
        }
    }
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( !(i in skipFlds) ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

完成测试并对结果感到满意后，更改awk为awk -i inplace更新输入文件（如）。sed -i

以上需要 GNU awk 来处理FPAT、patsplit()和-i inplace。

看使用 awk 高效解析 csv 的最稳健方法是什么有关使用 awk 解析 CSV 的更多信息。

Question 3

用于sed删除第 1,5 和 9 列。

$ sed -E 's/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file
2608577312,"Metal drill bits HSS-PointTeq",AC,"HSS PointTeQ 17,0 mm (reduced shank)",197,102.78,,102.78,,102.78,,,,

您可以将所有sed命令链接到一个命令中；

$ sed -Ei.bak '1,4d;$d;/^"/d;s/ +/ /g;s/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file

Answer

用于sed删除第 1,5 和 9 列。

$ sed -E 's/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file
2608577312,"Metal drill bits HSS-PointTeq",AC,"HSS PointTeQ 17,0 mm (reduced shank)",197,102.78,,102.78,,102.78,,,,

您可以将所有sed命令链接到一个命令中；

$ sed -Ei.bak '1,4d;$d;/^"/d;s/ +/ /g;s/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file

Question 4

由于仅需要选定的列，因此awk可能是另一个不错的选择。以下是仅选择所需列的方法：

数据：

os_user:~$ cat csv_file.csv 
Tom,Jerry,23,US
luca,brasi,55,UK

使用字段分隔符和打印功能选择所需的列：

os_user:~$ awk -F"," '{print $1","$3}' csv_file.csv 
Tom,23
luca,55

索引awk从 1 开始。在上面的演示中，第 1 列和第 3 列已被打印。此外，还可以进行进一步复杂的编程来删除条件行、处理数据等。

更多详情参考： AWK 参考

编辑注释：正如问题中没有提到的，我没有意识到某些列中有逗号。感谢埃德·莫顿的评论。它需要正确处理，而我的上述解决方案没有考虑到这一点。

Answer