我有一个计算基因型输入文件的大文件。这是前几行:
LocusID f nAlleles x y
2L:8347 1 2 44.3166 -12.2373
2L:8347 1 2 39.2667 -6.8333
2L:31184 1 2 39.2667 -6.8333
2L:31184 1 2 39.2667 -6.8333
2L:42788 1 2 39.2667 -6.8333
2L:42788 1 2 39.2667 -6.8333
2L:42887 1 2 39.2667 -6.8333
2L:42887 1 2 39.2667 -6.8333
第一列是位点 ID,对于每个位点,我有两行具有相同的位点 ID。我只想保留那些 x 列和 y 列对于每个基因座不合格的那些。
这是上面示例中我想要的输出
out
2L:8347 1 2 44.3166 -12.2373
2L:8347 1 2 39.2667 -6.8333
知道我该怎么做吗?
答案1
$ cat tst.awk
NR == 1 {
for (i=1; i<=NF; i++) {
f[$i] = i
}
next
}
NR % 2 {
split(prev,p)
if ( ( p[f["x"]] != $(f["x"]) ) || ( p[f["y"]] != $(f["y"]) ) ) {
print prev
print
}
}
{ prev = $0 }
$ awk -f tst.awk file
2L:8347 1 2 44.3166 -12.2373
2L:8347 1 2 39.2667 -6.8333
答案2
已测试。如果文件中确实不存在列标题,请删除 BEGIN 行。
#! /bin/bash
AWK='''
BEGIN { getline; }
{
R1 = $0; getline R2;
split (R1, V1); split (R2, V2);
if (V1[4] != V2[4] || V1[5] != V2[5]) {
print R1; print R2;
}
}
'''
awk "${AWK}" myFile
答案3
应该是对埃德·莫顿的评论,但太大并且可能引起更普遍的兴趣。
我为一个在看到两条无益的评论后无法开始的OP写了一个简单的五分钟工作。我对你的参考资料不太感兴趣,其中包含会引起呕吐的替代品,例如:
awk 'c&&!--c;/3/{c=5}/4/{print "Eureka!"}' file
我确实指出了更好的技术是可能的,并且我发布并测试了代码。
当然 getline 在这里不是必需的,但它确实为操作提供了一定的对称性。如果您依赖 awk 循环,您最终会使用 FNR % 2 == 1 之类的东西来处理严格交替的行。这很糟糕,因此为了一般性,我宁愿忽略 OP“两行”并按 LocusID 分组行。
我通过将 awk 脚本发布到 shell 变量中来提高它们的尊严,因为它们读起来更好。我讨厌将大量 awk 代码放在命令行上并折叠在奇怪的地方。另外,这确实会影响系统管理员,因为整个 awk 都显示在 ps -ef 中,并且会破坏输出(在 SunOS 上,它曾经导致 ps 崩溃,因为它有固定的最大行长度)。
我在 bash 中防止这种情况的常用习惯用法是:
awk -f <( echo "${AWK}" )
ps 列出的内容为 awk -f /dev/fd/63,方便地向好奇的人隐藏了我的专有代码。
我从未将 shell 命令与 awk 分开:我从不使用 .awk 文件。将会发生以下两种不好的事情之一:
(a) 您提供 .awk 文件,并期望用户键入 awk 命令(可能包括“-F|”或其他一些选项),他会出错。
(b) 您向用户提供了一个 .sh 和一个 .awk,但存在更新问题,最终导致文件之间不一致。
出于同样的原因,如果我需要提供手册页,我会将其嵌入到脚本本身中,作为名为“用法”和“帮助”的函数,其中包含此处文档。
我很清楚'''...'''是没有必要的。然而,我厌倦了发布单引号解决方案,让人们认为“那里缺少引号,我会修复它”,搞砸了我的测试帖子,然后抱怨它不起作用。用几个空字符串来混淆它可以防止人们弄乱它,并提高可见性。
使用 Unix 40 年之后,我知道了 shell 和 awk 中的保留变量。我有很好的命名规则,但对于一个小问题,我更喜欢使用OP可能直觉的术语。两行,两个向量。我对许多 shell 变量使用大写字母以提高可见性,以将它们与关键字区分开来。任何人都可以编写关键字:几乎所有错误都是因为编码人员没有看到数据,他们没有强调变量的作用。
Getline 不会以意想不到的方式失败,因为我知道会发生什么。你可能不喜欢我使用的习语,但这并不意味着它们是错的。它们是我多年来看到的问题的解决方案。
答案4
我的建议:将空格变成逗号,这样你就有了 CSV,然后将其加载到数据库中。
使用psql
Postgres 和您给出的文件,如下temp.csv
所示:
postgres=> create temp table d (locusid text, f int, n_alleles int, x float, y float);
CREATE TABLE
postgres=> \copy d from program 'tr " " , < temp.csv' with (format csv, header true)
COPY 8
postgres=> table d;
locusid | f | n_alleles | x | y
----------+---+-----------+---------+----------
2L:8347 | 1 | 2 | 44.3166 | -12.2373
2L:8347 | 1 | 2 | 39.2667 | -6.8333
2L:31184 | 1 | 2 | 39.2667 | -6.8333
2L:31184 | 1 | 2 | 39.2667 | -6.8333
2L:42788 | 1 | 2 | 39.2667 | -6.8333
2L:42788 | 1 | 2 | 39.2667 | -6.8333
2L:42887 | 1 | 2 | 39.2667 | -6.8333
2L:42887 | 1 | 2 | 39.2667 | -6.8333
(8 rows)
postgres=> select d.* from d join d as d2 on d.locusid = d2.locusid and (d.x != d2.x or d.y != d2.y);
locusid | f | n_alleles | x | y
---------+---+-----------+---------+----------
2L:8347 | 1 | 2 | 44.3166 | -12.2373
2L:8347 | 1 | 2 | 39.2667 | -6.8333
(2 rows)