☰

队列 wget 脚本

tag-icon • tag-icon ssh wget
队列 wget 脚本

我有 php 网站爬虫，可以构建 wget 脚本

crontab 该命令用于打开文件夹并通过 php 构建所有文件

cd /home/sen/public_html/akwam/orders/
for i in *
do
      sh /home/sen/public_html/akwam/orders/"$i"
    rm -rf /home/sen/public_html/akwam/orders/"$i"
done

php 在文件夹中创建以 .txt 结尾的文件，然后使用 ssh 运行

  $ddd = " wget -b -nc --no-check-certificate   $newcommand  \"$url\"  -q -o  /dev/null      ";


  file_put_contents( './orders/' . $t . '.txt', $ddd );

有一种方法可以对 wget 脚本进行排队，以免同时在 url 上泛滥（高负载）

答案1

我找到了让它像队列一样的方法

首先-b从 wget 命令中删除

第二个改进sh脚本不运行一一，没有

逐行将所有内容收集到一个文件中

do
      cat /home/sen/public_html/akwam/orders/"$i" >>  /plex/final.txt
         echo >> /plex/final.txt
      rm -rf /home/sen/public_html/akwam/orders/"$i"
done

相关内容