![读取文本文件并查找唯一记录](https://linux22.com/image/56824/%E8%AF%BB%E5%8F%96%E6%96%87%E6%9C%AC%E6%96%87%E4%BB%B6%E5%B9%B6%E6%9F%A5%E6%89%BE%E5%94%AF%E4%B8%80%E8%AE%B0%E5%BD%95.png)
我有一个包含 A、B、C 和 D 列的大型文本文件。如何读取 C 和 D 列的唯一值并将这些唯一行写入常规文本文件或 JSON 格式?
答案1
试试这个脚本:
sort -k 3,5 -u yourFile.txt | awk '{output = $3; for(i=4; i<=NF; i++) output = output " " $(i); print output;}'
其中选项 -k 将列 C 和 D 设置为键,-u unique 且 awk 打印列 C 和 D。
我有一个包含 A、B、C 和 D 列的大型文本文件。如何读取 C 和 D 列的唯一值并将这些唯一行写入常规文本文件或 JSON 格式?
试试这个脚本:
sort -k 3,5 -u yourFile.txt | awk '{output = $3; for(i=4; i<=NF; i++) output = output " " $(i); print output;}'
其中选项 -k 将列 C 和 D 设置为键,-u unique 且 awk 打印列 C 和 D。