multiprocessing

第二代可扩展至强 CPU(白金、黄金等)中“C”后缀的实际含义是什么
multiprocessing

第二代可扩展至强 CPU(白金、黄金等)中“C”后缀的实际含义是什么

我有一台 HP Z6 工作站,配有 Xeon Gold 6253CL CPU(从 eBay 购买),我想将其升级为双 CPU 配置。我已添加第二个 CPU 转接卡,但为了选择处理器,我需要帮助了解英特尔的部件号和功能,特别是“C”后缀。 Xeon Gold 6253CL CPU 似乎是仅对部分制造商开放的机密型号,不对外公开,​​因此英特尔网站上无法找到其规格 [https://www.intel.com/content/www/us/en/support/articles/000056073/processors/intel-xeon-processors...

Admin

超线程对于多处理的好处?
multiprocessing

超线程对于多处理的好处?

我正在管理 HTC 集群中的计算节点。该节点是一台 56 核/112 线程双 Xeon 机器,典型工作负载由许多单线程蒙特卡罗模拟作业实例组成。基准测试表明,吞吐量可以很好地随作业数量增加而扩展,最多可达 56 个,但由于 turbo boost 频率无法持续处理大量活动作业,因此存在一些非线性。所有这些对我来说都很有意义,我认为这是预期的行为。 我不太明白的是,随着作业数量的增加,扩展几乎完全丧失了。作业数量增加到 64 个甚至更高,达到 112 个时,吞吐量保持不变:并行运行更多作业的好处完全被单个作业的较长持续时间所抵消。我知道对于超线程来说,扩展远非...

Admin

Celery 中的工作进程
multiprocessing

Celery 中的工作进程

我有一个 CPU 密集型 Celery 任务,在其中一个任务中可以使用 joblib 进一步并行化。默认情况下,使用 celery 启动工作程序将创建一个池,其最大并发数等于 CPU/核心数(在我的情况下为 36)。 我的问题是,使用这种配置,是否意味着每个工作进程将只有 1 个核心可用,并且不会受益于 joblib 的并行化?或者当工作进程队列中没有其他任务时,它会使用所有核心。 例如: @app.task # picked by celery worker process def a_task(): algo = Algo(n_jobs=...

Admin

HAProxy 进程间统一平衡
multiprocessing

HAProxy 进程间统一平衡

我们使用nbproc 10多进程 HAProxy。服务器采用 Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz。 在配置中: nbproc 10 cpu-map 1 0 cpu-map 2 1 cpu-map 3 2 cpu-map 4 3 cpu-map 5 4 cpu-map 6 5 cpu-map 7 6 cpu-map 8 7 cpu-map 9 8 cpu-map 10 9 stats socket /var/run/haproxy/socket1 proces...

Admin

服务器上的任务处于休眠状态
multiprocessing

服务器上的任务处于休眠状态

我登录到一个具有多处理器的服务器并启动了 20 个 Python 程序,每个程序处理我的部分数据。 但是耗时太长了,检查了一下top,发现所有的 ipython 进程都处于休眠状态,到底是怎么回事? $ top -u calc top - 13:36:27 up 31 days, 4:48, 1 user, load average: 0.13, 0.21, 0.20 Tasks: 335 total, 1 running, 334 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.0 us, 0....

Admin

在多处理器系统中,线程如何在核心之间分布?
multiprocessing

在多处理器系统中,线程如何在核心之间分布?

我目前正在检查具有两个 12 核处理器(即 24 核)的系统上的服务器应用程序的限制。(超线程当前已禁用)。 我在该盒子上运行了 12 个 UDP 接收密集型实例,根据任务管理器显示,它占用了 2 个插槽中一个的所有 12 个核心。但另一个插槽处于空闲状态。我还尝试启动该应用程序的第 13 个实例,但它仍然在第一个已经很忙的插槽上运行。 为什么?在多处理器系统中,线程调度到核心的规则是什么? 一些想法: 这是否与 RSS(接收方缩放)有关?它已启用并且至少会参与选择我们应用程序的接收线程的核心(但该应用程序也有其他工作繁重的线程)? RSS(或 M...

Admin

双 CPU 主板上能安装不同的 CPU 吗?
multiprocessing

双 CPU 主板上能安装不同的 CPU 吗?

我有一块华硕 KCMA-D8 主板,带有两个 Socket C32 CPU 插槽。目前只使用一个。是否可以在另一个插槽中放置不同的(更好的)CPU,并让主板同时使用这两个?或者带有两个 CPU 插槽的主板是否要求两个 CPU 完全相同? ...

Admin

限制子进程的总体内存使用量
multiprocessing

限制子进程的总体内存使用量

我有一个长时间运行的脚本,它在具有 8GB 内存的 Linux 机器上启动了几个子进程。运行几个小时后,它占用了近 90% 的内存,这使得其他服务(如 SSH)在开始磁盘交换时无响应。 以编程方式限制脚本和所有子进程的总体内存使用量的最佳方法是什么,而无需为每个进程单独设置特定的内存限制?不同的子进程可以使用非常不同的内存量,因此设置固定阈值会非常低效。 理想情况下,我只想指定“仅使用最多 75% 的内存”,并让系统根据需要将其分配给子进程,以确保我仍然可以随时通过 SSH 进入机器。我首先尝试设置一个 cron 作业来自动将 sshd 重新设置为最高优...

Admin

Shell脚本:Linux中子进程不会终止
multiprocessing

Shell脚本:Linux中子进程不会终止

我编写了一个 shell 脚本来同时启动三个后台进程。在 shell 脚本中,我尝试等待所有子进程完成其作业,然后父进程终止。但是,不知为何,我发现休眠进程从未被唤醒。 echo "Starting $1 instances" >> $logfile for i in `seq 1 $1` do /usr/bin/php index.php name& done echo "Waiting for all $l instances to complete \n" >> $logfile wait echo ...

Admin

将 vCPU 添加到现有操作系统安装
multiprocessing

将 vCPU 添加到现有操作系统安装

ESXi 5 中的 VM 配置对话框警告我,如果我在安装客户操作系统后更改 vCPU 的数量,天就会塌下来 - 咳咳 - 这“可能会使我的虚拟机不稳定”。 我知道线程序列化中涉及的某些 CPU 指令在多处理器系统中需要 LOCK 前缀,但在单处理器系统中则不需要(或者至少在单核系统中不需要)。操作系统通常会在不需要时省略 LOCK。 如果操作系统使用省略 LOCK 但使用多个 CPU 的内核,那么这将导致极度不稳定和难以隔离的错误。但是,如果内核是为一个处理器设计的,那么它使用多个处理器做什么(它必须故意这样做)?这似乎是一个完全荒谬的操作系统设计,我希...

Admin

Apache 仅执行了一个请求,所有其他请求都等待第一个请求完成
multiprocessing

Apache 仅执行了一个请求,所有其他请求都等待第一个请求完成

我在本地 Ubuntu 机器上安装了 Apache2 服务器和 PHP5.3。 我创建了文件 index.php 并在其中设置了 sleep 30 秒 <?php sleep(30); // script sleep 30s ?> 当我在网络浏览器中运行“localhost/index.php”时,请求正在等待 30 秒。 在此期间,我删除该行sleep(30);并在新选项卡“localhost/index.php”中运行 第二个请求正在等待第一个请求完成,因此等待 30 秒。 这是个问题,因为 Apache 只运行一个进程/线程。...

Admin

Python 多线程在 VPS 服务器上不起作用
multiprocessing

Python 多线程在 VPS 服务器上不起作用

我正在运行一个具有多个进程的 python 多线程应用程序,该应用程序从一些网站抓取数据。在本地主机上运行时,它运行良好,但在我使用的 vps 服务器(Centos 5.8,2.6 GHZ,4 核)上运行非常慢。 从 nethogs 命令中,我发现网络使用率太低。使用 15 个线程时,我的网络使用率约为 8KBps。另一方面,在我的 PC 上,我的网络使用率约为 100-120KBPS。 我读过关于 Python GIL 和线程限制的文章。似乎 GIL 永远不会释放 VPS 上的锁,尽管它在执行 I/0 时应该释放 我是否需要更改 VPS 中的任何配置...

Admin

并行计算:分布式系统与多核处理器?
multiprocessing

并行计算:分布式系统与多核处理器?

我只是想知道,既然我们可以创建每台支持数百或数千个核心/CPU(甚至 GPGPU)的单独机器,那么为什么需要费尽心思创建分布式系统来进行大规模并行处理呢? 所以基本上,为什么要通过机器网络进行并行处理,而不用在一台支持多核的机器上以更低的成本和更可靠的方式完成呢? ...

Admin