parallel-processing

如何阻止 Ubuntu 20.04 限制我的 CPU 空间?
parallel-processing

如何阻止 Ubuntu 20.04 限制我的 CPU 空间?

安装 Ubuntu 20.04 后,一切都运行良好。但是,在安装和使用一些应用程序(Matlab 和 Matlab/Dynare)后,Ubuntu 似乎限制了我的 CPU 使用率。我使用 openMP 和一个曾经实现 100% CPU 使用率的代码,但现在速度慢了很多,top 显示以下内容: 从顶部输出 我的处理器总共有 32 个内核和 64 个线程。此代码使用了所有线程,之前 CPU 使用率达到 100%。但是,现在总 CPU 使用率仅为 18.9%。还请注意,主作业几乎使用了 6400% 的 CPU=64*100。与以前相比,现在的代码非常慢。以下是 h...

Admin

任何程序都可以在多核上运行吗?CPU 会决定吗?还是只有某些程序可以在多核上运行?
parallel-processing

任何程序都可以在多核上运行吗?CPU 会决定吗?还是只有某些程序可以在多核上运行?

因此,我对多核 CPU 有点困惑 - 我最初的印象和我以前听到的印象是,有些程序无法跨多个核心运行 - 例如,另一个循环的输入取决于先前的输出 另一方面,我看到其他人声称似乎任何程序都可以在多个核心上运行(这是否必须由程序员指定(例如,通过分配线程),或者 CPU 是否能够在核心之间分配密集型程序?) 但与此同时,我也听别人说过,一个进程只能在一个核心上运行 我希望有人能澄清这一点,或者为我应该去哪里寻找提供一些建议。我觉得我读到的内容——如果不是错误的——可能至少已经过时了,或者可能因处理器型号等而异 不过,提前感谢你的帮助 ...

Admin

使用递归循环的并行处理和执行顺序
parallel-processing

使用递归循环的并行处理和执行顺序

如果我运行一个脚本使用并行处理递归地处理路径如果要对整个树执行命令,我保证我使用的命令将在单个目录中的所有项目上执行在进入下一个步骤之前? Get-ChildItem $Path -Recurse -Filter *.some_file_extension | ForEach-Object -Parallel { my_command $_ --with_options } ...

Admin

PowerShell:脚本并行抛出
parallel-processing

PowerShell:脚本并行抛出

在 中运行时-Parallel,以下脚本不会传递$basePath在并行块开始之前声明的变量。相反,它是一个空值。当脚本不在 中运行时,这不是问题-Parallel——它将传递变量值并按预期​​运行。仅供参考,我正在运行 PS 7.x。 $basePath=((get-location) -replace "\\", "\\") get-childitem *.tif -recurse | foreach-object -Parallel { $a=($_ -split "\.tif")[0] $path=(((split-path $_) ...

Admin

为什么文件夹删除没有并行化?
parallel-processing

为什么文件夹删除没有并行化?

当我按住 Shift 键删除一个大文件夹时,我看到以下 CPU 使用率: 并非所有盒子都得到利用。这样效率低下吗? 在我看来,通过分而治之,这很容易实现并行化。我尝试手动选择并删除一半的内容,然后再删除另一半,结果让更多的盒子满了。 我听说回收表现出不同的行为,尽管我自己没有测试过。 ...

Admin

GNU Parallel 的使用 - 如何将当前传递的字符串并行化?
parallel-processing

GNU Parallel 的使用 - 如何将当前传递的字符串并行化?

我正在使用 GNU parallel,并且想了解 - 如何获取传递给每个并行命令的单独字符串? 举个例子,GNU Parallel 文档显示如何将文件从当前目录移动到另一个目录: ls | parallel mv {} destdir 那么有没有办法可以单独获取/打印传递给并行的每个文件? 并行处理案例 我需要并行处理检查多个站点并记录 http 返回代码(2xx、4xx、5xx) 源 URL 最终目标 URL curl 退出代码 以下是实现该功能的代码: unset return_code_array unset destinatio...

Admin

在 shell 脚本中同时执行两个或多个命令
parallel-processing

在 shell 脚本中同时执行两个或多个命令

在 shell 脚本中并行运行命令通常非常有用,但我找不到这样做的方法。这可能吗?如果可以,我该如何实现?我主要对 感兴趣fish。 当我运行需要很长时间才能完成但可以或需要同时运行的命令以减少完成所有操作所需的时间时,它很有用。 ...

Admin

在某些 Linux 机器上并行处理增益较差,而在其他机器上则较好
parallel-processing

在某些 Linux 机器上并行处理增益较差,而在其他机器上则较好

我正在几台不同的计算机上测量用 C 语言编写的复杂信号处理算法的运行时间,这些计算机都运行 Linux。代码通过我自己的一些方法(使用 pthreads 库)和 FFTW 包提供的并行处理部分并行化。四台计算机中的三台显示,随着并行因子 P 从 1 增加到机器上的物理核心数,执行时间预计会减少。问题是其中一台机器表现出相反的行为:从 P=1 到 P=2 会导致执行时间增加。 四台机器上的代码相同,但硬件和操作系统不同。超线程已启用。所有机器都具有大容量 RAM。 toren:Ubuntu 18.04.5、4.15.0-122-generic、4 个物理核心、...

Admin

如何通过 sftp 或 http 等使用多个同时连接下载单个大文件
parallel-processing

如何通过 sftp 或 http 等使用多个同时连接下载单个大文件

是否有一个命令行工具支持多个同时连接和多种网络协议(ftp,http等)? 以下是一个实际的例子: 我在 ssh 服务器上有一个很大的备份文件,我想将其传输到我当前的机器上。文件下载时间太长,所以我想使用多个同时的网络连接来加快速度。假设 ssh 服务器负载不重。 下载多个文件/URL使用同时连接不相关对这个问题 我不想编写任何代码来解决这个问题。 ...

Admin

Geekbench 多核得分是使用高度并行进程得出的吗?
parallel-processing

Geekbench 多核得分是使用高度并行进程得出的吗?

对于每款处理器,geekbench.com 上的基准测试都会显示单核和多核得分。例如,这款 64 核处理器单核得分为 1220,多核得分为 23688。Geekbench 多核基准测试是否通过(案例 1)同时在多个核心上运行多个单核基准测试来衡量(令人尴尬的平行)?或者,(情况 2)是运行一组基准测试,其中可能涉及不能很好并行化的进程。 对于上面的 64 核 CPU 示例,多核性能低于我们可能从单核行为的线性扩展中预期的 64x1220 = 78080 分数。在案例 2 中,这种差异可能是由于基准测试缺乏完美的并行性而导致的。然而,在案例 1 中,差异一定...

Admin

Powershell 工作流 foreach -parallel (){} 函数指南
parallel-processing

Powershell 工作流 foreach -parallel (){} 函数指南

我刚刚发现了 Powershell 工作流,并且正在尝试,但遇到了一些困难。我不知道工作流是否具有执行以下操作的能力,但如果它们具有,我将非常感谢指导以使以下功能正常工作。 简而言之,我的函数workflow ProcessFrame(希望)设计为接受一个数组数组,查看数组第二维内的两个字段,如果第二维数组中的一个数组中的配对值与条件参数匹配,则将其他第二维数组中的某些值返回到函数返回的新数组中。好吧,我意识到这个描述可能会让您头疼,所以让我用脚本创建一个示例。 顺便说一句,我知道如何使用传统foreach循环来做到这一点,但如果可能的话,我想利用for...

Admin

我可以长时间让 CPU 使用率达到 100% 吗?
parallel-processing

我可以长时间让 CPU 使用率达到 100% 吗?

我有一台戴尔 XPS 15 9570,32 GB 内存,2.2 ghz 和 6 核。当我使用应用程序(MATLAB 上的 parsim 命令)时(更多细节)然后我的风扇开始快速运转,在此期间我的电脑似乎没有发热,但以前从来没有这么吵,所以我很担心。在我的任务管理器中,当此应用程序运行时,CPU 使用率显示 100%。 如果我每天让电脑的 CPU 以 100% 的速度运行 4 个小时,这会对笔记本电脑的寿命造成问题吗? 使用过程中我需要担心风扇噪音吗? ...

Admin

顺序并行等待
parallel-processing

顺序并行等待

我想在一个 bash 文件中运行多并行任务,如下面的示例代码, for i in 1 2 3 4 5 6 7 8; do setsid python /tmp/t.py ${i} 1>>/tmp/1.log 2>&1 & done wait # first wait echo "next wait" for i in 9 10 11 12 13 14 15 16; do setsid python /tmp/t.py ${i} 1>>/tmp/1.log 2>&...

Admin

分裂
parallel-processing

分裂

我想将 1 个命令的输出通过管道传输到多个管道,并将多个命令的输出通过管道传输到 1 个命令。 例如split: # Single output to multiple pipes echo "This is a sentence" | split | cut -d ' ' -f 1,3 > file1.txt | cut -d ' ' -f 2,4 > file2.txt 在上面的例子中split,输出"This is a sentence"被分成 2 个cut部分和 ...

Admin

并行运行的 CPU 密集型数据挖掘作业的最佳数量是多少?
parallel-processing

并行运行的 CPU 密集型数据挖掘作业的最佳数量是多少?

我有一个 CPU 密集型数据挖掘作业,该作业可并行化。每次作业运行大约需要 10 分钟。该作业的 IO 负载不大,主要是 CPU 计算负载大。我有一台 32 核设备,每核 2 个线程,并且支持超线程。 我的第一个问题是并行运行 32 或 64 个作业是否最佳?我的第二个问题是当我从并行运行 32 个作业增加到 64 个作业时,每个作业的性能预期会受到多大影响(假设 IO 不是瓶颈)? Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bi...

Admin