☰

提取公共标识符的开始和结束位置

tag-icon • tag-icon text-processing awk sed bioinformatics
提取公共标识符的开始和结束位置

我有一个如下所示的文件：

Id       Chr     Start   End  
Prom_1   chr1    3978952 3978953  
Prom_1   chr1    3979165 3979166  
Prom_1   chr1    3979192 3979193  
Prom_2   chr1    4379047 4379048  
Prom_2   chr1    4379091 4379092  
Prom_2   chr1    4379345 4379346  
Prom_2   chr1    4379621 4379622  
Prom_3   chr1    5184469 5184470  
Prom_3   chr1    5184495 5184496

我想提取的是相同的开始和结束Id，如下所示：

Id       Chr     Start   End  
Prom_1   chr1    3978952 3979193  
Prom_2   chr1    4379047 4379622  
Prom_3   chr1    5184469 5184496

正如您所注意到的，重复次数Id在开始和结束之间并不恒定。任何想法将不胜感激。

答案1

与GNU数据混合：

datamash -H -W -g 1,2 min 3 max 4 <input

答案2

这可以通过经典循环来读取文件或使用 awk 等其他方式来完成，但我不擅长 awk 来为您提供基于 awk 的解决方案。波纹管解决方案在 bash 中工作正常，并使用简单的 awk 、 grep 和数组。

具有已知的 id（通过参数或用户输入）

id="Prom_1" #Or for user input read -p "Give Id :" id
header=$(head -1 a.txt) #get the 1st line and store it as header.
data=($(grep $id a.txt)) #grep the file for given the id and fill an array
echo "$header"
echo -e "${data[0]}\t${data[1]}\t${data[2]}\t${data[-1]}" #data[-1] refers to the last element of the data array
#Output:
Id       Chr     Start   End  
Prom_1  chr1    3978952 3979193

技巧是数组获取所有由空格分隔的 grep 值（默认 IFS），因此数组如下所示：

root@debi64:# id="Prom_1";data=($(grep $id a.txt));declare -p data
declare -a data=([0]="Prom_1" [1]="chr1" [2]="3978952" [3]="3978953" [4]=$'\nProm_1' [5]="chr1" [6]="3979165" [7]="3979166" [8]=$'\nProm_1' [9]="chr1" [10]="3979192" [11]="3979193")
#declare -p command just prints out all the data of the array (keys and values)

要自动扫描文件中的 ids ，您可以使用 uniq prog，如下所示：

readarray -t ids< <(awk -F" " '{print $1}' a.txt |uniq |tail -n+2) 
#For Field separator= " " print the first field (id), print them as unique fields and store them in an array.
#Here the use of readarray is better to handle data separated by new lines.
declare -p ids
#Output: declare -a ids=([0]="Prom_1" [1]="Prom_2" [2]="Prom_3")

将所有组合在一起：

header=$(head -1 a.txt) #get the 1st line and store it as header.
readarray -t ids< <(awk -F" " '{print $1}' a.txt |uniq |tail -n+2)
echo "$header"
for id in ${ids[@]}
do
data=($(grep $id a.txt))
echo -e "${data[0]}\t${data[1]}\t${data[2]}\t${data[-1]}"
done 

#Output 
Id       Chr     Start   End  
Prom_1  chr1    3978952 3979193
Prom_2  chr1    4379047 4379622
Prom_3  chr1    5184469 5184496

答案3

你能试试这个 awk吗

$ awk 'NR==1{print; next}NR!=1{if(!($1 in Arr)){printf("\t%s\n%s\t%s\t%s",a,$1,$2,$3);Arr[$1]++}else{a=$NF}}END{printf("\t%s\n",a)}' input.txt
Id       Chr     Start   End

Prom_1  chr1    3978952 3979193
Prom_2  chr1    4379047 4379622
Prom_3  chr1    5184469 5184496

awk '
NR==1{print; next}
NR!=1{
if(!($1 in Arr))
{
       printf("\t%s\n%s\t%s\t%s",a,$1,$2,$3);Arr[$1]++;
}
else
{
    a=$NF
}
}
END{
printf("\t%s\n",a)
}' input.txt

答案4

使用 awk 并存储在变量中的另一个解决方案：

获取文件的标题并将其放入输出文件中：

row1=$(head -1 input_file)
echo $row1 | sed -e 's/ /\t/g' > output_file

取第一列的唯一值：

col1=$(for i in $(awk 'NR>1 {print $1}' input_file | uniq); do echo $i; done)

根据每个第一列值获取第二行中第一次出现的值：

col2=$(for i in $(echo "$col1"); do grep -m1 $i input_file | awk '{print $2}'; done)

根据每个第一列值取第三列的第一个值：

col3=$(for i in $(echo "$col1"); do grep -m1 $i input_file | tail -1 | awk '{print $3}'; done)

根据每个第一列值取第四列的最后一个值：

col4=$(for i in $(echo "$col1"); do grep $i input_file | tail -1 | awk '{print $4}'; done)

将所有这些值附加到输出文件：

paste -d'\t' <(echo "$col1") <(echo "$col2") <(echo "$col3") <(echo "$col4") >> output_file

相关内容