uniq

删除重复的行,仅考虑两列
uniq

删除重复的行,仅考虑两列

如果我只考虑前两列,那么我有一个文件包含一些重复的行。 例如 2 2 7 7 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 3 3 7 7 4 4 9 9 4 4 2 2 在此示例中,我有一些行在前两列中有 1 1 或 4 4,对我来说,这些是重复的。最后,我希望得到如下结果: 2 2 7 7 1 1 3 3 3 3 7 7 4 4 9 9 我只想保留具有重复值 1 1 或 4 4 的行之一 使用类似这样的方法,我能够识别哪些是重复的行 cut -f 1,2 file.txt | sort | uniq -D 但我仍然不确定如何...

Admin

根据字段的唯一子集进行计数
uniq

根据字段的唯一子集进行计数

我有一个文本文件,其结构如下: P,ABC,DEF P,GHI,JKL B,ABC,DEF B,MNO,PQR 我想要计算字段 2 和 3 相同的行出现的次数,同时保留字段 1。因此,输出将如下所示: 2,P,ABC,DEF 1,P,GHI,JKL 2,B,ABC,DEF 1,B,MNO,PQR uniq -c不会起作用(据我所知)因为它不能按字段分隔。sort -u -t, -k2,2 -k3,3也不会起作用,因为它不能计数(据我所知)并且写入的命令只会将第三行作为重复项销毁,同时保留第一行。 最终,我需要返回的是第 2 行和第 4 行,因为字段 2 ...

Admin

在目录中查找不同的文件
uniq

在目录中查找不同的文件

我尝试在文件夹中找到一个不同的文件。我有 4 个文件,即 file1、file2、file3 和 file4。文件 1 到 3 有文本“not uniq”,文件 4 为空。我如何找到这个不同的文件?我尝试使用 diff,但 diff 适用于 2 个文件。 ...

Admin

按 shell 中第一个视为数字的字段对文件中的行进行排序
uniq

按 shell 中第一个视为数字的字段对文件中的行进行排序

我有一个文件,其格式如下所示(一个数字 + 一个 IPv4 地址)。此格式是使用 生成的uniq -c。我想对每行中第一个数字后的行进行排序。我本来想使用类似命令的东西sort,但我不确定如何使用它来仅对那个数字进行排序。 20 0.0.0.0 2 10.0.1.2 2 10.0.1.4 97 114.80.166.219 180 116.6.19.70 1435 121.11.66.70 1 12.172.224.140 34 122.102.64.54 14 12...

Admin

macOS 上的 Grep:在正则表达式中查找捕获组的唯一出现位置
uniq

macOS 上的 Grep:在正则表达式中查找捕获组的唯一出现位置

我使用的是 macOS,想使用grep(或类似工具)在代码库中查找特定模式的唯一出现情况。例如,为了查找console.somemethod()JavaScript 中的所有调用,我设计了: grep -oiER "console\.([a-z]+)\(" . | sort -u 但这会给我以下形式的结果: ./tools/svg-inject/node_modules/with/node_modules/acorn/src/bin/acorn.js:console.log( ./tools/svg-inject/node_modules/wordw...

Admin

Windows 上是否有与 Unix uniq 等效的程序?
uniq

Windows 上是否有与 Unix uniq 等效的程序?

我需要从文本文件中删除重复的行,在 Linux 中很简单,使用 cat file.txt |sort | uniq 当 file.txt 包含 aaa bbb aaa ccc 它将输出 aaa bbb ccc 有 Windows 等效程序吗?或者如何以 Windows 方式执行此操作? ...

Admin

从文件中找到球队数量
uniq

从文件中找到球队数量

我最近才开始学习 bash,需要从文件中找出团队数量,该文件可以从此链接。 以下是一个示例 我知道我必须使用 cut 和 uniq,但我不知道如何使用。如能得到任何帮助,我将不胜感激。 ...

Admin

在 Linux 中删除非重复的行
uniq

在 Linux 中删除非重复的行

如何使用任何 Linux 程序 linke sed、awk 或任何其他程序从文本文件中删除非重复的行? 例子: abc bbc abc bbc ccc bbc 结果: abc bbc abc bbc bbc 第二个列表已删除 ccc,因为它没有重复的行。 是否还可以删除不重复的行且只有 2 个重复的行,并保留有 2 个以上重复行的行? ...

Admin

如何根据子字符串过滤唯一的行?
uniq

如何根据子字符串过滤唯一的行?

如果我在文件中有一组 URL,例如: http://example.com/do?foo=bar&etc=123 http://example.com/do?etc=456&foo=bar 我想过滤掉这些内容,以便“foo”参数的每个唯一值都只有一个 URL。URL 的其余部分并不重要,对我来说唯一重要的是不要有两行或更多行具有相同的“foo”值。 ...

Admin

如何让 uniq 只考虑第一个字段?
uniq

如何让 uniq 只考虑第一个字段?

我正在使用 FreeBSD 3.2-RELEASE 如果我有一些已排序的文本,例如此last输出 - zikla13:Oct:20:22:34 zikla13:Oct:5:00:31 zikla14:Oct:17:22:01 zikla14:Oct:12:23:35 zikla14:Oct:12:23:34 zikla14:Oct:12:00:11 zikla14:Oct:11:23:52 zikla14:Oct:5:22:22 zilka13:Oct:13:23:48 zilka13:Oct:11:00:28 zilka13:Oct:9:22:40 ...

Admin

在 bash 中从另一个文件中删除项目列表
uniq

在 bash 中从另一个文件中删除项目列表

从另一个文件(无序)中删除一个文件中所列出的项目的最有效方法是什么(不重复执行命令)? 可以通过以下方式轻松获取第二个文件中不匹配项目的列表 cat first_file.txt second_file.txt | sort | uniq -u 但这也会包含第一个文件中的所有不匹配的项目...现在怎么办? ...

Admin

Grep 匹配行但在 GnuPG 输出中返回匹配的密钥 ID
uniq

Grep 匹配行但在 GnuPG 输出中返回匹配的密钥 ID

有此输入: rsa2048/C7927B82 2015-08-30 rsa2048/FB2D99F9 2015-08-30 我希望 grep 仅返回密钥 ID,例如:C7927B92。使用来自的模式匹配前后的 Grep 字符?, 我用了 grep -o -P 'rsa.{3,13}' 导致 rsa2048/FB2D99F9 我该如何清理它? 我想查找重复的短键 ID。接下来,我获取短键 ID 的 grep 列表,然后对其进行排序,并使用 sort | uniq -d 测试重复项。但是它不起作用,因为它提供了错误的重复项。 gpg2 ...

Admin

使用 uniq、OS X Yosemite 打印唯一线条
uniq

使用 uniq、OS X Yosemite 打印唯一线条

我正在尝试打印文件列中的唯一条目.csv。为此,我尝试了以下操作: awk -F "," '{print $6}' dataCoarse.csv | uniq -u 它只打印第 6 列。仍有重复条目。我怎样才能仅打印唯一的行? 编辑:我认为我需要删除每行上任何字符前面或后面的空格,或者以uniq某种方式忽略它们。我该怎么做? ...

Admin

按 ID 排序,然后按日期排序,然后删除日期较旧的行?
uniq

按 ID 排序,然后按日期排序,然后删除日期较旧的行?

我有几个制表符分隔的文件。 每个文件的结构如下: ID Title Rating Date_Rated 我想要做的是将所有这些文件合并为一个,并只保留最新的评级。 file1 可能包含如下数据: 70202148 Sherlock Holmes: A Game of Shadows 5 28/12/13 file2 可能包含如下数据: 70202148 Sherlock Holmes: A Game of Shadows...

Admin