使用 Celery 运行多个 worker

Question 1

现在，我根据 MartinP 关于工作进程生成子进程而不是线程的评论更新了我的答案：

芹菜worker和worker processes是不同的东西（阅读此内容以供参考）。

当一个工作进程启动时它就会产生一定数量的子进程。

这些进程的默认数量等于该机器上的核心数量。

在 Linux 上，您可以通过以下方式检查核心数量：

$ nproc --all

否则，您可以自己指定，例如：

$ celery -A proj worker --loglevel=INFO --concurrency=2

在上面的例子中，有一个工作进程将能够生成 2 个子进程。通常建议每台机器运行一个工作进程，并发值将定义将并行运行多少个进程，但如果需要运行多个工作进程，那么您可以像下面这样启动它们：

$ celery -A proj worker -l info --concurrency=4 -n wkr1@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr2@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr3@hostname

参考芹菜文档了解更多信息

Answer

现在，我根据 MartinP 关于工作进程生成子进程而不是线程的评论更新了我的答案：

芹菜worker和worker processes是不同的东西（阅读此内容以供参考）。

当一个工作进程启动时它就会产生一定数量的子进程。

这些进程的默认数量等于该机器上的核心数量。

在 Linux 上，您可以通过以下方式检查核心数量：

$ nproc --all

否则，您可以自己指定，例如：

$ celery -A proj worker --loglevel=INFO --concurrency=2

在上面的例子中，有一个工作进程将能够生成 2 个子进程。通常建议每台机器运行一个工作进程，并发值将定义将并行运行多少个进程，但如果需要运行多个工作进程，那么您可以像下面这样启动它们：

$ celery -A proj worker -l info --concurrency=4 -n wkr1@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr2@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr3@hostname

参考芹菜文档了解更多信息

Question 2

看起来你的工作器只运行一个进程/线程。你可能只需要添加--concurrency或-c论点当启动工作程序时产生多个（并行）工作程序实例。

celery -A proj worker -c 4

Answer

看起来你的工作器只运行一个进程/线程。你可能只需要添加--concurrency或-c论点当启动工作程序时产生多个（并行）工作程序实例。

celery -A proj worker -c 4

Question 3

我发现这个

http://docs.celeryproject.org/en/latest/reference/celery.html?highlight=parallel

您可以寻找画布基元在那里你可以看到如何创建并行执行的组。

class celery.group(task1[, task2[, task3[, … taskN]]]) 创建一组要并行执行的任务。

否则，一个好方法是去 IRC 频道问那些特殊问题。通常有人非常了解这些，他们可以帮助你。

Answer