我有 php 网站爬虫,可以构建 wget 脚本
crontab 该命令用于打开文件夹并通过 php 构建所有文件
cd /home/sen/public_html/akwam/orders/
for i in *
do
sh /home/sen/public_html/akwam/orders/"$i"
rm -rf /home/sen/public_html/akwam/orders/"$i"
done
php 在文件夹中创建以 .txt 结尾的文件,然后使用 ssh 运行
$ddd = " wget -b -nc --no-check-certificate $newcommand \"$url\" -q -o /dev/null ";
file_put_contents( './orders/' . $t . '.txt', $ddd );
有一种方法可以对 wget 脚本进行排队,以免同时在 url 上泛滥(高负载)
答案1
我找到了让它像队列一样的方法
首先-b
从 wget 命令中删除
第二个改进sh脚本不运行一一,没有
逐行将所有内容收集到一个文件中
do
cat /home/sen/public_html/akwam/orders/"$i" >> /plex/final.txt
echo >> /plex/final.txt
rm -rf /home/sen/public_html/akwam/orders/"$i"
done