如何使用 bash 脚本从文件中提取日期并转换为 unix 时间戳？

Question 1

这个描述实际上并不是一个问题，而且有些令人困惑。但是，约会总是很有趣，所以我希望这会有所帮助。

提取非结构化日期取决于来源。文件中的日期是臭名昭著的。在给出的示例中，我看到的唯一明显的一致性是日期字符串位于行的末尾，并且全部从第 6 列开始。这就是我首先要查找的内容。

如果位置不是“固定”的，假设它们不会全部从第 6 列开始，那么第三行中的日期也不是最后两列。一个令人困惑的例子。不管怎样，还是可以做到的。需要更多的逻辑来评估不同类型的日期字符串以及如何处理每种字符串。同样，这实际上取决于输入数据质量（GIGO）。

这可以通过 GNU bash 和核心实用程序以不同的方式完成。需要强调的主要工具是 GNU date 命令，它可以评估日期的有效性并将其规范化。在本例中，“UTC 2023”是技术上一个有效的日期，这样 GNU 日期就不会出错（并且必须用 bash 捕获）。尽管如此，像这样的问题仍然可以非常简单地以高精度解决。

像这样，假设所有日期字符串都从第 6 列开始或有效日期位于最后两列......

while read line; do
    echo $line

    DATE_SIX="$(echo $line | cut -f6- -d' ')"
    if date --utc --date "${DATE_SIXE}" &> /dev/null; then
        DATE_SIX_NORMAL="$(date --utc --date "${DATE_SIX}")"
        DATE_SIX_EPOCH="$(date --utc --date "${DATE_SIX}" +%s)"
    else
        DATE_SIX_NORMAL="BAD DATE"
        DATE_SIX_EPOCH=0
    fi
    echo "DATE_SIX='${DATE_SIX}', DATE_SIX_NORMAL='${DATE_SIX_NORMAL}', DATE_SIX_EPOCH=${DATE_SIX_EPOCH}"

    DATE_LAST_TWO="$(echo $line | awk '{print $(NF-1)" "$(NF)}')"
    if [[ "${DATE_LAST_TWO}" != *":"* ]] || [[ "${DATE_LAST_TWO}" != *"/"* ]]; then
        # GNU date evaluates "UTC 2023" as a valid date, but it's not what's wanted ...
        DATE_LAST_TWO_NORMAL="BAD DATE"
        DATE_LAST_TWO_EPOCH=0
    else
        if date --utc --date "${DATE_LAST_TWO}" &> /dev/null; then
            DATE_LAST_TWO_NORMAL="$(date --utc --date "${DATE_LAST_TWO}")"
            DATE_LAST_TWO_EPOCH="$(date --utc --date "${DATE_LAST_TWO}" +%s)"
        else
            DATE_LAST_TWO_NORMAL="BAD DATE"
            DATE_LAST_TWO_EPOCH=0
        fi
    fi
    echo "DATE_LAST_TWO='${DATE_LAST_TWO}', DATE_LAST_TWO_NORMAL='${DATE_LAST_TWO_NORMAL}', DATE_LAST_TWO_EPOCH=${DATE_LAST_TWO_EPOCH}"

    echo
done < in.tmp

其输出如下所示。当然，DATE_EPOCH可以用作整数来进行比较。

A Version: x_02.28.03.03 000000 aaa 2019/05/21 03:33:04
DATE_SIX='2019/05/21 03:33:04', DATE_SIX_NORMAL='Tue May 21 03:33:04 AM UTC 2019', DATE_SIX_EPOCH=1558409584
DATE_LAST_TWO='2019/05/21 03:33:04', DATE_LAST_TWO_NORMAL='Tue May 21 03:33:04 AM UTC 2019', DATE_LAST_TWO_EPOCH=1558409584

B Version: x_02.28.03.03 000000 aaa 2019/05/21 03:33:04
DATE_SIX='2019/05/21 03:33:04', DATE_SIX_NORMAL='Tue May 21 03:33:04 AM UTC 2019', DATE_SIX_EPOCH=1558409584
DATE_LAST_TWO='2019/05/21 03:33:04', DATE_LAST_TWO_NORMAL='Tue May 21 03:33:04 AM UTC 2019', DATE_LAST_TWO_EPOCH=1558409584

C Version: 0.01.011 #3 PREEMPT Tue Apr 4 09:14:17 UTC 2023
DATE_SIX='Tue Apr 4 09:14:17 UTC 2023', DATE_SIX_NORMAL='Tue Apr  4 09:14:17 AM UTC 2023', DATE_SIX_EPOCH=1680599657
DATE_LAST_TWO='UTC 2023', DATE_LAST_TWO_NORMAL='BAD DATE', DATE_LAST_TWO_EPOCH=0

...除了 cut 之外还有其他方法，例如使用 awk、bash 字符串操作等。

GNU date 命令可以转换和标准化时间戳。

我还假设没有时区的原始日期是 UTC。

但是，也可以指定自定义时区（即在日期之前使用 TZ）。

例如，

$ date --utc --date="2019/05/21 03:33:04"
Tue May 21 03:33:04 AM UTC 2019

$ date --utc --date="Tue Apr 4 09:14:17 UTC 2023"
Tue Apr  4 09:14:17 AM UTC 2023

或者，将原始日期字符串转换为纪元时间...

$ date --utc --date="2019/05/21 03:33:04" +%s
1558409584

 date --utc --date="Tue Apr 4 09:14:17 UTC 2023" +%s
1680599657

...或者，使用 man date(1) 中的选项或 FORMAT 控件的任意组合，例如

$ date --utc --date="2019/05/21 03:33:04" --rfc-email
Tue, 21 May 2019 03:33:04 +0000

$ date --utc --date="2019/05/21 03:33:04" +%Y%m%d%H%M%S
20190521033304

 date --utc --date="Tue Apr 4 09:14:17 UTC 2023" +%s
1680599657

$ TZ=America/New_York date --date="Tue Apr 4 09:14:17 UTC 2023"
Tue Apr  4 05:14:17 AM EDT 2023

为了进行比较，我更喜欢 unix 纪元时间戳。

Answer