当服务器负载较低时如何运行作业？

2024-5-27 • tag-icon

linux bash cron scheduled-task amazon-ec2

当服务器负载较低时如何运行作业？

我有一个运行磁盘快照的命令（在 EC2 上，冻结 XFS 磁盘并运行 EBS 快照命令），该命令设置为作为 cron 作业定期运行。理想情况下，如果在计划运行任务时磁盘使用率很高，我希望能够将命令延迟一段时间。

我担心使用 nice/ionice 可能不会产生适当的效果，因为我希望脚本在运行时以高优先级运行（即等待合适的时间，然后快速完成）。

谢谢。

更新：

这是我最终采用的方法。它会检查 /proc/diskstats，并在当前 IO 活动达到 0 或超时时运行我的作业。当我查看我们的服务器在生产中实际获得哪种 IO 活动时，我可能必须对此进行调整：

#!/bin/bash

DEVICE=sdf

# we want to make a snapshot when IO in progresses reaches this:
LOW_THRESHOLD=0

TIMER=0
MAX_SEC_DELAY=120

# Get the number of IO operations in progress:
ioInProgress(){
    grep $DEVICE /proc/diskstats | awk '{print $12}'
}

# Wait for a good time to run snapshot, else timeout:

while [[ $TIMER -lt $MAX_SEC_DELAY && $(ioInProgress) -gt $LOW_THRESHOLD  ]]; do
    TIMER=`expr $TIMER + 1`
    sleep 0.5
done

# Recording delay required:
echo $TIMER
echo "Executing snapshot"
run-the-snapshot

答案1

我在这里找到了一个 perl 脚本http://www.skolnick.org/cgi-bin/list.pl?file=serverload.pl

这应该可以满足您的需要。

您可能使用一个解析正常运行时间的简单 shell 脚本来实现这一点，并且仅在平均负载降低到某个值后才执行。

请注意，如果您的服务器一直很忙，并且存在失控进程，那么您的 cronjobs 将永远不会执行！

如果您有内存，也许更好的想法是以最低的操作系统优先级运行您的 cron 作业，这样它们只会消耗备用资源。

答案2

你可以看一下批处理命令也许它可以满足你的需要。

man batch更多详细信息（它是 at 子系统的一部分）

答案3

那么，编写一个小型轮询/守护进程脚本怎么样？该脚本从预定的时间开始，检查 iostat（vmstat）是否存在低磁盘活动，并每 5 分钟继续检查一次，直到磁盘活动低于预设阈值或经过一段时间（以先到者为准）。

相关内容