如何使用sed命令和curl命令从web url中提取特定字符串

Question 1

@Nikhil，您原来的问题没有提到任何 XML 格式，它只有原始内容。由于您知道数据包含在 XML 中，因此更可靠的方法是遵循建议 xmlstarlet 或特定于此作业的工具的其他答案之一的建议。

如果你确定格式不会改变，并且想要对此进行快速而肮脏的处理，并且您确定要使用 awk，这对您有用吗：

awk -F"." '{print $5}' | sort --unique

以下是此代码的链接以及您问题中的一些示例数据：在线尝试一下！

Answer

@Nikhil，您原来的问题没有提到任何 XML 格式，它只有原始内容。由于您知道数据包含在 XML 中，因此更可靠的方法是遵循建议 xmlstarlet 或特定于此作业的工具的其他答案之一的建议。

如果你确定格式不会改变，并且想要对此进行快速而肮脏的处理，并且您确定要使用 awk，这对您有用吗：

awk -F"." '{print $5}' | sort --unique

以下是此代码的链接以及您问题中的一些示例数据：在线尝试一下！

Question 2

curl "URL" | grep -E -o 'AP[[:digit:]]+' | sort -u

这将获取数据，提取所有 AP 编号，并对它们进行排序，同时删除重复项。

这假设 AP 编号仅出现在您显示的数据中，而不出现在任何其他不相关的位置（您显示的 XML 文档在末尾被截断）。

为了更安全地解析 XML，请使用xmlstarlet：

curl "URL" |
xmlstarlet sel -t -v '/timeSeries/series/@parentPath[contains(.,"AP")]' |
grep -E -o 'AP[[:digit:]]+' | sort -u

这会解析出属性的所有长值parentPath，并将它们传递给grep和sort。

用它来做这一切xmlstarlet也是可能的。在这里，我假设您需要与包含字符串的属性值相对应的所有 AP 编号credit：

curl "URL" |
xmlstarlet sel -t \
    -m '/timeSeries/series/@parentPath[contains(., "credit")]' \
    -v 'concat("AP", substring-before(substring-after(., "AP"), "."))' -nl

如果仅查找字符串credit会丢失一些 AP 编号，则只需将它们全部提取出来并像sort -u以前一样使结果列表唯一：

curl "URL" |
xmlstarlet sel -t \
    -m '/timeSeries/series/@parentPath' \
    -v 'concat("AP", substring-before(substring-after(., "AP"), "."))' -nl |
sort -u

Answer

curl "URL" | grep -E -o 'AP[[:digit:]]+' | sort -u