如何删除回车符、添加时间戳并忽略实时 MQTT 源中的某些数据

Question 1

好吧，相当令人困惑，但无论如何......从应用程序的输出来看，
mosquitto_sub -d -t +/# 2> >(grep PUBLISH)
似乎同时输出到stderrand stdout（否则你应该只得到PUBLISH输出中匹配的行）。它将调试消息 (Sending...和Received...) 打印到stderr，并将实际数据 ( 810,5440995,6143...) 打印到stdout。

显然，您需要逗号分隔值，因此如果您需要匹配行的时间戳，则可以尝试以下操作PUBLISH：

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^\([^,]*,\)[^']*'\([^']*\)',.*\n[^,]*,\(.*\)|\1\2,\3|;p}"

或者，如果您需要下一行的时间戳：

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^[^,]*,[^']*'\([^']*\)',.*\n\([^,]*,\)\(.*\)|\2\1,\3|;p}"

2>&1重定向stderr到stdout，然后将输出通过管道传递到xargs，将每行作为参数传递给下一个命令sh -c 'date "+%s,$0"'，因此每行前面都带有时间戳+逗号，例如：

[timestamp],Sending PINGREQ
[timestamp],Received PINGRESP
[timestamp],Received PUBLISH (d0, q0, r0, m0, 'm/NWRL/TMX/098/d/status', ... (39 bytes))
[timestamp],871,40114,4536 4536 323

然后通过管道来sed抑制自动打印 ( -n)。
对于匹配的每一行PUBLISH，附加Next 行，替换每个空格并/用逗号然后通过分组，仅保留第一个或第二个时间戳，引号之间的值以及第二个时间戳之后的值，最后打印结果：

[timestamp],m,NWRL,TMX,098,d,status,871,40114,4536,4536,323

Answer

好吧，相当令人困惑，但无论如何......从应用程序的输出来看，
mosquitto_sub -d -t +/# 2> >(grep PUBLISH)
似乎同时输出到stderrand stdout（否则你应该只得到PUBLISH输出中匹配的行）。它将调试消息 (Sending...和Received...) 打印到stderr，并将实际数据 ( 810,5440995,6143...) 打印到stdout。

显然，您需要逗号分隔值，因此如果您需要匹配行的时间戳，则可以尝试以下操作PUBLISH：

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^\([^,]*,\)[^']*'\([^']*\)',.*\n[^,]*,\(.*\)|\1\2,\3|;p}"

或者，如果您需要下一行的时间戳：

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^[^,]*,[^']*'\([^']*\)',.*\n\([^,]*,\)\(.*\)|\2\1,\3|;p}"

2>&1重定向stderr到stdout，然后将输出通过管道传递到xargs，将每行作为参数传递给下一个命令sh -c 'date "+%s,$0"'，因此每行前面都带有时间戳+逗号，例如：

[timestamp],Sending PINGREQ
[timestamp],Received PINGRESP
[timestamp],Received PUBLISH (d0, q0, r0, m0, 'm/NWRL/TMX/098/d/status', ... (39 bytes))
[timestamp],871,40114,4536 4536 323

然后通过管道来sed抑制自动打印 ( -n)。
对于匹配的每一行PUBLISH，附加Next 行，替换每个空格并/用逗号然后通过分组，仅保留第一个或第二个时间戳，引号之间的值以及第二个时间戳之后的值，最后打印结果：

[timestamp],m,NWRL,TMX,098,d,status,871,40114,4536,4536,323

Question 2

我在bash/ksh环境下模拟mosquitto，发现

stub_mosquitto | 
   sed -e 's/.*m0, //' -e 's/, .*bytes))//' | while read line; do
      if [[ "${line}" = \'* ]]; then
         echo -n "${line}, "
      else
         echo "${line}, $(date)"
      fi
   done

我在这里使用 sed 来剪切有趣的部分。
我使用 while read 行作为连接两行（并添加日期）的简单方法。这对于 sed 或 tr 是可能的，但这可能需要一些工作（不同版本的 sed）。

我不完全理解对 mosquitto_sub 的调用，因此我仅在字符串通过管道时显示解决方案：

在那里做什么#？
如果没有引号，它应该是评论的开头
grep 查找字符串时如何获得包含数字的行？
这些数字是否写入 stderr？使用 grep 将它们重定向到标准输出后将2>&1跳过它们。

Answer

我在bash/ksh环境下模拟mosquitto，发现

stub_mosquitto | 
   sed -e 's/.*m0, //' -e 's/, .*bytes))//' | while read line; do
      if [[ "${line}" = \'* ]]; then
         echo -n "${line}, "
      else
         echo "${line}, $(date)"
      fi
   done

我在这里使用 sed 来剪切有趣的部分。
我使用 while read 行作为连接两行（并添加日期）的简单方法。这对于 sed 或 tr 是可能的，但这可能需要一些工作（不同版本的 sed）。

我不完全理解对 mosquitto_sub 的调用，因此我仅在字符串通过管道时显示解决方案：

在那里做什么#？
如果没有引号，它应该是评论的开头
grep 查找字符串时如何获得包含数字的行？
这些数字是否写入 stderr？使用 grep 将它们重定向到标准输出后将2>&1跳过它们。

如何删除回车符、添加时间戳并忽略实时 MQTT 源中的某些数据

答案1

答案2

相关内容