使用 awk/sed 更改 CSV 中的非标准日期时间戳格式

Question 1

使用 GNU sed，您可以使用s///e修饰符来执行结果字符串：

s/.*/date -d "&" +"%F %T"/e

不过，比这更好的是使用 GNU date-f标志，它本身可以处理输入行，而不是为每一行生成一个新进程：

$ TZ=UTC0 date -f /dev/stdin +'%F %T' <<<$'Mon Jul 03 14:48:54 EDT 2023\nTue, 04 Jul 2023 11:30:45 +0100'
2023-07-03 18:48:54
2023-07-04 10:30:45

如果您无法信任输入，这也会更安全。

Answer

使用 GNU sed，您可以使用s///e修饰符来执行结果字符串：

s/.*/date -d "&" +"%F %T"/e

不过，比这更好的是使用 GNU date-f标志，它本身可以处理输入行，而不是为每一行生成一个新进程：

$ TZ=UTC0 date -f /dev/stdin +'%F %T' <<<$'Mon Jul 03 14:48:54 EDT 2023\nTue, 04 Jul 2023 11:30:45 +0100'
2023-07-03 18:48:54
2023-07-04 10:30:45

如果您无法信任输入，这也会更安全。

Question 2

你可以做类似的事情：

LC_ALL=C sed '
  s/$/;Jan01Feb02Mar03Apr04May05Jun06Jul07Aug08Sep09Oct10Nov11Dec12/
  s/[A-Z][a-z][a-z] \([A-Z][a-z][a-z]\) \([0-9][0-9]\) \([0-2][0-9]:[0-5][0-9]:[0-5][0-9]\) [A-Z]\{3,\} \([0-9]\{4\}\)\(.*;.*\1\([01][0-9]\)[^;]*\)$/\4-\6-\2 \3\5/
  s/;[^;]*$//'

我们首先将月份名称附加到行末尾的数字转换表中（用分隔;），然后使用正则表达式使用反向引用（为此我们需要 BRE，而不是 ERE）来查找给定月份名称的...$[A-Z][a-z][a-z]$...;.*\1$[01][0-9]$...数字，因此\1背面引用文本中捕获的月份名称，其后的两位数字以结尾\6。

然后我们删除翻译表。

如果每一行可能有多个时间戳需要转换，则将其更改为：

LC_ALL=C sed '
  s/$/;Jan01Feb02Mar03Apr04May05Jun06Jul07Aug08Sep09Oct10Nov11Dec12/
  :1
    s/[A-Z][a-z][a-z] \([A-Z][a-z][a-z]\) \([0-9][0-9]\) \([0-2][0-9]:[0-5][0-9]:[0-5][0-9]\) [A-Z]\{3,\} \([0-9]\{4\}\)\(.*;.*\1\([01][0-9]\)[^;]*\)$/\4-\6-\2 \3\5/
  t1
  s/;[^;]*$//'

仅当成功替换时才分支到标签，这是t1在.:1sed

对于任意无标头 CSV，仅重新格式化第一个字段：

mlr --csv -N put '$1 = strftime(strptime($1, "%a %b %d %H:%M:%S %Z %Y"), "%F %T")'

（改编自@Kusalananda的回答到如何将用月份名称表示的日期转换为数字月份名称？）。

米勒strptime()会抱怨时间戳无法解码，但显然在字段为空的情况下不会。

%Z不属于所认可的指令之列标准strptime()，但 GNU 实现至少识别并忽略它（并\s*\S*从输入中消耗；鉴于这些和 co 随着时间的推移和对不同的人有不同的含义，它对此无能为力EDT）。

^{1 尽管某些sed实现（包括sed您可能在使用 GNUism 时使用的GNU \s）支持 ERE 以及标准的扩展。}

Answer

你可以做类似的事情：

LC_ALL=C sed '
  s/$/;Jan01Feb02Mar03Apr04May05Jun06Jul07Aug08Sep09Oct10Nov11Dec12/
  s/[A-Z][a-z][a-z] \([A-Z][a-z][a-z]\) \([0-9][0-9]\) \([0-2][0-9]:[0-5][0-9]:[0-5][0-9]\) [A-Z]\{3,\} \([0-9]\{4\}\)\(.*;.*\1\([01][0-9]\)[^;]*\)$/\4-\6-\2 \3\5/
  s/;[^;]*$//'

我们首先将月份名称附加到行末尾的数字转换表中（用分隔;），然后使用正则表达式使用反向引用（为此我们需要 BRE，而不是 ERE）来查找给定月份名称的...$[A-Z][a-z][a-z]$...;.*\1$[01][0-9]$...数字，因此\1背面引用文本中捕获的月份名称，其后的两位数字以结尾\6。

然后我们删除翻译表。

如果每一行可能有多个时间戳需要转换，则将其更改为：

LC_ALL=C sed '
  s/$/;Jan01Feb02Mar03Apr04May05Jun06Jul07Aug08Sep09Oct10Nov11Dec12/
  :1
    s/[A-Z][a-z][a-z] \([A-Z][a-z][a-z]\) \([0-9][0-9]\) \([0-2][0-9]:[0-5][0-9]:[0-5][0-9]\) [A-Z]\{3,\} \([0-9]\{4\}\)\(.*;.*\1\([01][0-9]\)[^;]*\)$/\4-\6-\2 \3\5/
  t1
  s/;[^;]*$//'

仅当成功替换时才分支到标签，这是t1在.:1sed

对于任意无标头 CSV，仅重新格式化第一个字段：

mlr --csv -N put '$1 = strftime(strptime($1, "%a %b %d %H:%M:%S %Z %Y"), "%F %T")'

（改编自@Kusalananda的回答到如何将用月份名称表示的日期转换为数字月份名称？）。

米勒strptime()会抱怨时间戳无法解码，但显然在字段为空的情况下不会。

%Z不属于所认可的指令之列标准strptime()，但 GNU 实现至少识别并忽略它（并\s*\S*从输入中消耗；鉴于这些和 co 随着时间的推移和对不同的人有不同的含义，它对此无能为力EDT）。

^{1 尽管某些sed实现（包括sed您可能在使用 GNUism 时使用的GNU \s）支持 ERE 以及标准的扩展。}

Question 3

你确实提到过：

我正在尝试更改日期格式在第二个字段中。我还应该添加第二个字段是有时根本无人居住。

以下awk脚本将满足要求。将其另存为date.awk（感谢@EdMorton 的挑剔）：

BEGIN {
  FS = OFS = ","
  months = "JanFebMarAprMayJunJulAugSepOctNovDec" 
}

$2 != "" {
  split($2, date, / /)
  month = sprintf("%02d", (index(months, date[2]) + 2) / 3)
  $2 = sprintf("%04d-%02d-%02d %s", date[6], month, date[3], date[4])
}

1

然后awk使用脚本执行：

awk -f date.awk input.csv

原答案

您可以使用date命令轻松更改日期格式。例如：

$ date -d "Mon Jul 03 14:48:54 EDT 2023" +"%Y-%m-%d %H:%M:%S"
2023-07-03 14:48:54

然后，您可以使用awk仅转换特定列（在本例中为$1）：

awk 'BEGIN {FS=OFS=","} {"date -d \"" $1 "\" +\"%Y-%m-%d %H:%M:%S\"" | getline res; $1=res; print}' file.csv

结果将是您当地时间，因此如果您想转换时区，只需TZ=EDT在之前添加（或任何时区）即可date。

然而，正如@StéphaneChazelas 在评论中提到的，如果行中的字段以某种方式包含恶意命令，则很容易受到命令注入的攻击，并且运行速度会很慢，因为它需要针对每一行sh执行。date

Answer