我需要一些帮助来平滑第 4 列和下一个列的 awk olny 的一些数据。这是一个数据示例:
Date;time;Time_ms;A;B;C;D
23.11.2012;15:03:00;41236627696;1;2;2;3
23.11.2012;15:04:00;41236628391;2;3;3;11
23.11.2012;15:06:00;41236629097;1;23;7;15
24.11.2012;15:07:00;41236627696;1;4;5;3
24.11.2012;15:08:00;41236628391;3;12;1;2
24.11.2012;15:09:00;41236629097;2;23;71;15;8
23.11.2012;15:10:00;41236627696;7;1;2;2;3
23.11.2012;15:11:00;41236628391;2;3;12;1;
23.11.2012;15:12:00;41236629097;22;2;7;15
输出不应修改 Date;time;Time_ms 并打印 A 的平均值,其中包含前 n 行的 A 字段和后 n 行的 A 字段。 B、C、D...列也应执行相同操作。例如,如果 n=1,第二行将是:
23.11.2012;15:04:00;41236628391;(1+2+1)/3;(2+3+23)/3;(2+3+7)/3;(3+11+15)/3
也许这样的事情可以作为一个起点
BEGIN { WIDTH=3 }
{ DATA[(++N)%WIDTH]=$0 }
(N>=WIDTH) {
V=0
for(X=(N+1); X<=(N+WIDTH); X++)
V+=DATA[X%WIDTH];
print V/WIDTH;
}
答案1
对于统计数据处理,右通常更容易使用。
将所有数据读入内存会更容易。 Awk 并不是最好的语言(尽管它当然有可能)。这是一个快速的 Python 脚本。
#!/usr/bin/env python
import sys
n = int(sys.argv[1]) # the smooth parameter n must be passed as the first argument to the script
print sys.stdin.readline() # print the header line
def split_line(line): # split line into first 3 fields as string, then list of numbers
fields = line[:-1].split(";")
return [";".join(fields[:3])] + map(float, fields[3:7])
rows = map(split_line, sys.stdin.readlines())
def avg(i, j):
return (rows[i-n][j] + rows[i][j] + rows[i+n][j]) / 3
for i in xrange(n, len(rows) - n):
print ";".join([rows[i][0]] + [str(avg(i, j-2)) for j in xrange(3, 7)])
如果您的数据真的很大,我认为这里的脚本可以满足您的要求。它读取 2*n+1 行,将值存储到plusprev[2*n]
中,然后打印第 (n+1) 行的平均值。prev[1]
$0
awk -F ';' -v OFS=';' -v n="${1-1}" '
function avg(i) { return (prev[2*n, i] + prev[n, i] + $i) / 3; }
NR == 1 { print; next } # title line: print and skip the rest
NR >= 2*n+2 {
# fourth line on: print the average values from the past 3 lines
# with the labels from the previous line
print labels[n], avg(4), avg(5), avg(6), avg(7);
}
{
# shift the saved averages by 1 position
for (i=4; i<=7; i++) {
for (k=2*n; k>1; k--) prev[k, i] = prev[k-1, i];
prev[1, i] = $i;
}
# save the labels of this line to print in the next round
for (k=n; k>1; k--) labels[k] = labels[k-1];
labels[1] = $1 ";" $2 ";" $3;
}
'
答案2
这是我发现之后写的脚本这
#!/usr/bin/bash
awk 'BEGIN { FS=OFS=";"
RS="\n"}
{
gsub(/\n/,"",$0)
if (max_nf<NF)
max_nf=NF
max_nr=NR
for(x=1; x<=NF; ++x)
vector[NR,x]=$x
}
END {
row=1
printf vector[row,1] OFS vector[row,2] OFS vector[row,3]
for(col=4; col<max_nf; ++col)
printf OFS "Average(" vector[row,col] ")";
printf ORS
for(row=2; row<max_nr; ++row) {
printf vector[row,1] OFS vector[row,2] OFS vector[row,3]
for(col=4; col<max_nf; ++col)
printf OFS (vector[row,col]+vector[row-1,col]+vector[row+1,col])/3 ;
printf ORS
}
}' File_IN.csv>File_OUT.csv
该脚本将 csv 文件存储为二维数组,然后打印第一行。对于列 >4 打印平均值(标题)。从第二行到文件末尾打印第一、第二和第三列以及列>4的平均值。即使 @gilles 的 python 脚本工作正常,我也选择这个脚本作为答案,因为按照要求使用 AWK。