![长时间运行任务的 Nginx 配置](https://linux22.com/image/674586/%E9%95%BF%E6%97%B6%E9%97%B4%E8%BF%90%E8%A1%8C%E4%BB%BB%E5%8A%A1%E7%9A%84%20Nginx%20%E9%85%8D%E7%BD%AE.png)
我有一个基于 Web 的应用程序,用于对用户提交的文本进行一些语言分析。这是一项相当耗费内存的任务,通常需要很长时间(例如,处理 30 个文件最多需要 3 分钟)。我使用 Django 的 StreamingHttpResponse 函数来完成这项工作,但注意到 nginx 在处理大约 7 个文件(不到 50 秒)后丢弃了用户的请求。我尝试调整 nginx 和 Gunicorn keep_alive 设置,但似乎不起作用。我想知道这里有没有人可以给我一些指点?
我还想知道解决需要很长时间计算的任务的最佳方法是什么?异步吗?
答案1
I'm also wondering what is the best approach to tackle a task that takes a long time to compute? Asynchronously?
这就是工作队列的用途。您应该考虑将文件提交与处理分开。让用户提交文件,保存文件,向工作队列添加消息以处理它们,实际上是异步的。用户继续处理他们的业务,可能会看到加载屏幕,但它不再与该网络会话相关。
与此同时,一个单独的进程从工作队列中挑选新任务,无论用户正在做什么,都会独立处理每个任务。有许多这样的排队系统,例如 Amazon AWS SQS:
答案2
我发现没有人回答,所以我在 Google 中输入了你的问题,结果发现这一页。您是否尝试过按照建议增加所有适用的超时时间?这似乎是要做的第一件事。