☰

awk 搜索并替换 CSV 文件特定列中的字符串

tag-icon • tag-icon text-processing awk csv
awk 搜索并替换 CSV 文件特定列中的字符串

我有一个 csv 文件，有 17 列和 100 万行。我想在第 16 列中搜索特定字符串，并将该字符串的所有实例替换为另一个字符串。由于我的程序的其余部分使用 bash 脚本，我想使用 awk 而不是 Python 搜索和替换。我当前的操作系统是Rhel6。

以下是我的数据的示例输出：

SUBSCRIBER_ID|ACCOUNT_CATEGORY|ACCOUNT_ACTIVATION_DATE|PACKAGE_NAME|PACKAGE_TYPE|DURATION|ACTIVE_DATE|INACTIVE_DATE|STB_NO|PRIMARY_SECONDARY|MODEL_TYPE|VC_NO|MULTIROOM|STB_TYPE|IPKG|SERVICE_STATE|CURRENT_STATUS
1001098068|ResidentialRegular|01/20/2007|Annual package 199 May17 pack|Basic Package|Annual|08/28/2017||027445053518|Primary|Pace - 31|000223871682|Yes|AMP|Package 199 pack|Market1|Active
1001098068|ResidentialRegular|01/20/2007|Annual Pack|Premium Package|Annual|08/28/2017||027445053518|Primary|Pace - 31|000223871682|Yes|AMP|English Movies pack|Market1|Active
1001098068|ResidentialRegular|01/20/2007|Annual SingleUnit Jun17 Pack|Secondary Pack|Annual|08/28/2017||032089364015|Secondary|Kaon|000017213968|Yes|AMP|SingleUnit|Market2|Active

其中第 16 列是市场，我想将其中更改Market1为MarketPrime。文件的名称是marketinfo_2018-06-26.csv

我尝试了以下代码：

awk -F '| +' '{gsub("Market1","MarketPrime",$16); print}' OFS="|" marketinfo_2018-06-26.csv > marketinfo_2018-06-26.csv

运行后没有任何输出，但是字符串Market1仍然保留。

答案1

awk -F '|' -v OFS='|' '$16 == "Market1" { $16 = "MarketPrime" }1' file.csv >new-file.csv

代码中唯一真正的问题是您不仅将输入文件分隔符设置为空格|，而且还设置为空格。这将使空格算作数据中的字段分隔符，并且很难找出正确的字段编号（因为某些字段包含可变数量的空格）。

您也无法重定向到与读取时使用的文件名相同的文件名。这样做会导致 shell 首先截断（清空）输出文件，并且您的awk程序将没有数据可供读取。

您的代码执行正则表达式替换。这没问题，但你需要注意，如果第 16 个字段恰好是Market12或 之类的内容TheMarket1，则会因缺少锚点而触发替换。用作^Market1$替换的表达式或使用字符串比较会更安全。

上面的命令awk仅用作|字段分隔符，然后与第 16 个字段进行字符串比较。如果该字段为Market1，则将其设置为MarketPrime。

1代码末尾的尾随awk会导致打印每条记录（修改或未修改）。

答案2

问题在于输入字段分隔符。

由于您想使用多个字段分隔符（这不是必需的），因此每行中的字段数量不同，如下所示。

$ awk -F '[| +]' '{print NF}' test.csv
17
26
23
21

如果您仅用作| IFS，那么您的代码将起作用。由于每行有 17 个字段，如下所示。

awk -F "|" '{print NF}' test.csv
17
17
17
17

解决方案1：具有多个 IFS。

awk -F '[| +]' '{gsub("Market1","MarketPrime",$(NF-1)); print}' OFS="|" test.csv

SUBSCRIBER_ID|ACCOUNT_CATEGORY|ACCOUNT_ACTIVATION_DATE|PACKAGE_NAME|PACKAGE_TYPE|DURATION|ACTIVE_DATE|INACTIVE_DATE|STB_NO|PRIMARY_SECONDARY|MODEL_TYPE|VC_NO|MULTIROOM|STB_TYPE|IPKG|SERVICE_STATE|CURRENT_STATUS
1001098068|ResidentialRegular|01/20/2007|Annual|package|199|May17|pack|Basic|Package|Annual|08/28/2017||027445053518|Primary|Pace|-|31|000223871682|Yes|AMP|Package|199|pack|MarketPrime|Active
1001098068|ResidentialRegular|01/20/2007|Annual|Pack|Premium|Package|Annual|08/28/2017||027445053518|Primary|Pace|-|31|000223871682|Yes|AMP|English|Movies|pack|MarketPrime|Active
1001098068|ResidentialRegular|01/20/2007|Annual SingleUnit Jun17 Pack|Secondary Pack|Annual|08/28/2017||032089364015|Secondary|Kaon|000017213968|Yes|AMP|SingleUnit|Market2|Active

解决方案2：固定字段 16

awk -F '|' '{gsub("Market1","MarketPrime",$16); print}' OFS="|" test.csv

SUBSCRIBER_ID|ACCOUNT_CATEGORY|ACCOUNT_ACTIVATION_DATE|PACKAGE_NAME|PACKAGE_TYPE|DURATION|ACTIVE_DATE|INACTIVE_DATE|STB_NO|PRIMARY_SECONDARY|MODEL_TYPE|VC_NO|MULTIROOM|STB_TYPE|IPKG|SERVICE_STATE|CURRENT_STATUS
1001098068|ResidentialRegular|01/20/2007|Annual package 199 May17 pack|Basic Package|Annual|08/28/2017||027445053518|Primary|Pace - 31|000223871682|Yes|AMP|Package 199 pack|MarketPrime|Active
1001098068|ResidentialRegular|01/20/2007|Annual Pack|Premium Package|Annual|08/28/2017||027445053518|Primary|Pace - 31|000223871682|Yes|AMP|English Movies pack|MarketPrime|Active
1001098068|ResidentialRegular|01/20/2007|Annual SingleUnit Jun17 Pack|Secondary Pack|Annual|08/28/2017||032089364015|Secondary|Kaon|000017213968|Yes|AMP|SingleUnit|Market2|Active

答案3

为了让可能面临类似问题的其他人清楚地了解：

这两个答案都适用于这种情况：

拘萨罗南达的回答：

awk -F '|' -v OFS='|' '$16 == "Market1" { $16 = "MarketPrime" }1' file.csv >new-file.csv

我根据 Kusalananda 的回答修改后的答案：

awk -F '|' '{gsub("Market1","MarketPrime",$16); print}' OFS="|" marketinfo_2018-06-26.csv > marketinfo_2018-06-26.csv

答案4

您可以使用下面的

awk -F '|' -v OFS='|' '{if($16=="Market1") $16="MarketPrime" ; print }' marketinfo_2018-06-26.csv > marketinfo_2018-06-26.csv

使用这个，您可以更改与 Market1 匹配的泳道中的任何单词，例如，如果您想更改第 17 个单词，只需将其更改为

awk -F '|' -v OFS='|' '{if($16=="Market1") $17="Thisiscool" ; print }' marketinfo_2018-06-26.csv > marketinfo_2018-06-26.csv

相关内容