我有数百万行这两种格式都在一个合并文件中。
hash:salt:password
hash:password
hash:hash
我想要的只是保留密码,然后删除重复项,删除重复项后删除包含字符串的所有行。
样本文件:
695ecf9185cb3f1a415821ddd69cc6be:4e85e5:671014
695f1cc6765cac14c3478505c300ec9a::0d7b9438b5ea5d9b6883b43a656357d9775688
695f50345da6811b712ad3d08ac107cf::54dbf42fdafabe13e64c1eb7c7813e52b16188
695fe18dfdf073769841193ca98aaea3::405d98ab893b610144bf4645e6c132cb5eaf12
6960138fc7d1e2f9ec1c3df49ea72172::d7698e6198301e4a6df04d8b087a197a3d72f5
696073574b563bcfbf44a13a2848484a::9f3d22ab9249f9a05f9a7854f0ce2c6017cad2
6960a12e5357adbef3cb9df2d0ecd9c7::ca5fad391e11eb7e860bb1102528e77eb88474
6960c557ff9cc514771d3e6d855f3f8d::f3431013320c3864519b4c9269b524025bb6cf
69613e3ad5e001cdb1321012a554785e:c20954:214828
cc81a83d6bcd13b89519c45c7f5a1cfd:Refineryhotel2
696fb1bf9f806c772ac44882a28c2888:ca28a5:8561535
696fbe253ff887d5725d2438387b3bc1::60eb49f1f213fcc2f959edfec4feed89031747
696ffadc81d15371b88815c8394329a9:e5ad83:123hacker
6970031dffaac00607ce7663fa916686:4c4ba0:8109201
69706a943cc96169919476026a7de70c:ebd0af:0611314
69709651482c9e5c44c222aed4ece9aa::7a626fc07ccceb9b11c35c55941b2b5eb082c5
预期输出:
671014
214828
Refineryhotel2
8561535
123hacker
8109201
0611314
答案1
删除终端中最后一个“:”之前的所有内容
尝试这个,
awk -F ':' '$2 != ""{print $NF}' file
671014
214828
Refineryhotel2
8561535
123hacker
8109201
0611314
:
如果第二个字段不为空,则仅打印最后一个字段之后的文本。
答案2
使用新的示例数据(不包含重复项),尝试
awk -F: '$2 != "" {print $3}' file
671014
214828
8561535
123hacker
8109201
0611314
“包含字符串”是什么意思?无法从您的样本中推断出来。
如果该Refineryhotel2
行不是人工制品(它是唯一只有两个字段的行),请尝试
awk -F: '$3 == "" {print $2; next}; $2 != "" {print $3} ' file
671014
214828
Refineryhotel2
8561535
123hacker
8109201
0611314