☰

针对文件中的列表域进行卷曲不起作用

tag-icon • tag-icon bash variable curl recursive
针对文件中的列表域进行卷曲不起作用

我下面有一个 bash 脚本，旨在从文件中卷曲域列表，并输出结果。

#!/bin/bash
    
baseurl=https://csp.infoblox.com
domains=/home/user/Documents/domainlist
B1Dossier=/tide/api/data/threats/state/host?host=$domains
APIKey=<REDACTED>
AUTH="Authorization: Token $APIKey"
        
        
for domain in $domains; do curl -H "$AUTH" -X GET ${baseurl}${B1Dossier} > /tmp/outputfile; done

不幸的是，该脚本并未遍历文件中的每个域。

为了帮助理解，我列出了脚本的期望/解释：

  • 在文件 中/home/user/Documents/domainlist，我有一些域。
  • 我尝试使用 API 来检查文件中的每个域，方法是$domains在末尾附加变量B1Dossier
  • 期望它会针对文件内的每个域运行指定的curl 命令，并输出结果。

为了增加可见性，我在下面包含了用于单个域的工作curl命令：

curl -H 'Authorization: Token <REDACTED>' -X GET https://csp.infoblox.com/tide/api/data/threats/state/host?host=<place domain here>

有人可以帮助我解决我做错的事情以及如何解决这个问题吗？

答案1

您可以将域从文件读取到数组并循环它们。

baseurl="https://csp.infoblox.com"
B1Dossier="/tide/api/data/threats/state/host?host="
url="${baseurl}${B1Dossier}"

# read domains to an array
mapfile -t domains < /home/user/Documents/domainlist

# loop for domains
for d in "${domains[@]}"; do
    curl -H "$AUTH" -X GET "${url}${d}" >> temp
done

笔记：

在您的命令中，使用B1Dossierinto 循环没有任何效果，看来您正在等待某种递归评估，因为域包含在B1Dossier并且您循环 for domain。但你的网址不会以这种方式在循环内改变。

此外，您必须使用以下命令将响应附加到目标文件>>，否则每个下一个响应都会覆盖前一个响应。

答案2

您似乎正在迭代包含实际域的文件的名称，这就是为什么您的代码没有执行您希望它执行的操作。您似乎还将所有内容输出到同一个文件，每次调用时都会覆盖该文件curl。

您可以使用具有多个设置curl的配置文件，而不是使用 shell 循环遍历列表。url

不过，配置文件实际上不需要存储在磁盘上，因此我们可以动态创建它并将其传递到管道中curl：

domain_list=/home/user/Documents/domainlist

base_url=https://csp.infoblox.com
endpoint=tide/api/data/threats/state/host

APIKey=<REDACTED>
auth_header="Authorization: Token $APIKey"

awk -v h="$auth_header" -v b="$base_url" -v e="$endpoint" '
        BEGIN {
                printf "header = \"%s\"\n", h
        }
        {
                printf "url = %s/%s?host=%s\n", b, e, $0
        }' "$domain_list" |
curl --config -

这首先用于awk为域列表的每一行添加前缀

url = https://csp.infoblox.com/tide/api/data/threats/state/host?host=

然后将其用作curl要联系的 URL 列表。

该awk代码还在配置数据的开头设置一次授权标头。无需显式指定方法。

结果写入标准输出，但您也可以output = somefilename在每行之前插入选项url以将结果输出到特定文件。

相同的脚本，但可能有所简化：

domain_list=/home/user/Documents/domainlist

base_url=https://csp.infoblox.com
endpoint=tide/api/data/threats/state/host

APIKey=<REDACTED>
auth_header="Authorization: Token $APIKey"

{
    printf 'header = "%s"\n' "$auth_header"
    prefix="url = $base_url/$endpoint?host=" \
    awk '{ print ENVIRON["prefix"] $0 }' "$domain_list" 
} | curl --config -

答案3

使用while循环：

#!/bin/bash
    
baseurl=https://csp.infoblox.com
domains=/home/user/Documents/domainlist
APIKey=<REDACTED>
AUTH="Authorization: Token $APIKey"

while read -r domain; do
    url="${baseurl}/tide/api/data/threats/state/host?host=${domain}"
    curl -H "$AUTH" -X GET "$url" >> /tmp/outputfile
done < "$domains"

该while循环将逐行读取输入文件并将其分配给domain变量（由 定义read domain），在本例中为$domains。

相关内容