读取文本文件并查找唯一记录

Question

我有一个包含 A、B、C 和 D 列的大型文本文件。如何读取 C 和 D 列的唯一值并将这些唯一行写入常规文本文件或 JSON 格式？

Answer 1

试试这个脚本：

sort -k 3,5 -u yourFile.txt | awk '{output = $3; for(i=4; i<=NF; i++) output = output " " $(i); print output;}'

其中选项 -k 将列 C 和 D 设置为键，-u unique 且 awk 打印列 C 和 D。