distributed-computing

目前将一台计算机内存中的数据放入另一台计算机内存中的最快方法是什么?
distributed-computing

目前将一台计算机内存中的数据放入另一台计算机内存中的最快方法是什么?

目前,使一台服务器内存中的数据在另一台服务器的内存中可用的最快方法是什么? 当然 II 可以使用常规网络 - 但我可以想象主流服务器硬件有更快的链接,比如基于 pci-e 或 SAS 的直接通信,甚至可能是某种形式的 DMA?我不仅对最大吞吐量感兴趣,而且对最小延迟也感兴趣 ...

Admin

我按照 Kubeflow 文档中提供的教程设置 tf_jobs,但在 ks 应用阶段遇到了错误
distributed-computing

我按照 Kubeflow 文档中提供的教程设置 tf_jobs,但在 ks 应用阶段遇到了错误

我正在按照此说明进行设置TF 职位。 这些说明可以很好地发挥作用: CNN_JOB_NAME=mycnnjob VERSION=v0.4.0 这是我的初始化代码: ks init ${CNN_JOB_NAME} cd ${CNN_JOB_NAME} ks registry add kubeflow-git github.com/kubeflow/kubeflow/tree/${VERSION}/kubeflow ks pkg install kubeflow-git/examples ks generate tf-job-simple-v1beta1...

Admin

MATLAB GPU 支持的功能?
distributed-computing

MATLAB GPU 支持的功能?

有没有办法让我知道我在 MATLAB 脚本中使用的函数是否支持 GPU?似乎没有完整的列表(尽管请参阅此关联(查看支持 GPU 的图像处理函数列表),但只有文档说明说“MATLAB 和其他工具箱中有数百个 [支持 GPU 的] 函数可以在 GPU 上自动运行”(链接1,链接2,链接3,链接4)。 更一般地,MATLAB 要求您在 GPU 上创建一个数组(“gpuArray”对象),但使用支持 GPU 的函数很重要(关联)。当然,我可以简单地尝试创建一个 gpuArray,然后将其传递给相关函数并测量计算时间差...

Admin

将第二台计算机变成第一台计算机的简单扩展的正确方法是什么?
distributed-computing

将第二台计算机变成第一台计算机的简单扩展的正确方法是什么?

我有两台电脑并排放在同一个大机箱里。一台是游戏机,另一台目前只是管理机箱风扇,甚至没有操作系统。 我的外设数量多得惊人。当然,机箱的前面板端口有些坏了,因为这些前面板接头通常都是热垃圾。由于要解决这个问题,需要 USB 扩展卡,而且机箱里还有其他设备,所以我的 PCI-E 插槽已经满了。但是,我有一台 HTC Vive,需要在主板上打开一个 PCI-E 插槽,以便安装新的无线适配器的 PCI-E 接收器。 我想做的是将只管理风扇的旧电脑变成机箱中主机的从属单元。我知道我可以通过 LAN 做到这一点,...

Admin

如何在同一网络中并行 Windows PC?
distributed-computing

如何在同一网络中并行 Windows PC?

我的本地网络中有一些 Windows PC,每个都有 8 核 CPU。 我有一个占用大量 CPU 资源的程序,所以我想在所有 PC 上并行运行它。 现在我只在我的 PC 上运行我的程序,因此我创建了 8 个线程,因为我有 8 核 CPU,并且我给每个线程 1/8 的工作,并且操作系统为每个核分离每个线程。 我正在寻找一种方式,使我的网络中的 PC 能够与我共享一些核心,以便我可以让这些核心完成部分工作。 这样,如果我有 20 台电脑,每台电脑共享 2 个核心,并且我能够向每个核心发送线程,那么我就能够为每个线程分配 1/40 的工作。 我不想在互联...

Admin

在 rapsberry pi 和笔记本电脑之间运行脚本程序
distributed-computing

在 rapsberry pi 和笔记本电脑之间运行脚本程序

我拥有的东西:一台笔记本电脑(CPU:i7 6500U,RAM:8GB,操作系统:Windows 8.1)和一台 RPi Zero 我所知道的:分布式计算需要花费大量的时间和精力,使用 Hadoop 等特殊软件来实现节点之间的通信。 我想做的是:测试我的硬件是否可以相互通信,因为我已经看到帖子我已经做过了,我有时间,但我不知道这是否是使用 Hadoop 进行测试的最简单方法。现在我不得不说,我过去曾使用过分布式计算,但从未使用过不同的硬件。更具体地说,我想测试它是否可以使用 R 或 Python 脚本,它们都可以并行使用。 这里有人可以给我一些建议,如...

Admin

是否可以使用 2 台 Mac mini 实现分布式计算系统
distributed-computing

是否可以使用 2 台 Mac mini 实现分布式计算系统

我需要一些关于如何连接和使用 2 台 Mac mini 作为分布式计算系统的建议。情况是,我当前的 Mac mini 的独立显卡坏了,几乎只能通过终端在单用户模式下使用。放弃它是一种遗憾,所以我想重新利用它,通过以某种方式将它连接到一台新的 Mac mini,并通过一组显示器-键盘-鼠标将它们用作网格计算机。需要说明的是,我还没有第二台 Mac mini。我正在考虑购买它,只要我能将它与显卡有问题的 Mac mini 一起使用。这有可能实现吗?如何实现?如果有人能想出一个分步指南,那就太好了。提前感谢大家对此事的回答或想法。 ...

Admin

使用多台计算机作为处理和数据存储集群
distributed-computing

使用多台计算机作为处理和数据存储集群

我有大约 17 台旧电脑,它们本身不能做很多事情,但我想知道是否有办法将它们组合起来,以便它们可以以分布式方式运行多个虚拟机。例如,假设我有 3 台计算机,每台都有 100 GB 的硬盘空间、2.0 GHz 处理器和 2 GB 内存。我想在这组计算机上运行 2 个虚拟机,每个虚拟机都有 150 GB 的硬盘空间、3.0 GHz 处理器和 3 GB 内存。有什么办法可以做到这一点吗? ...

Admin

我们可以使用 Ceph 或 Gluster FS 来避免启动许多虚拟机的 IO 瓶颈吗?
distributed-computing

我们可以使用 Ceph 或 Gluster FS 来避免启动许多虚拟机的 IO 瓶颈吗?

目的:我想在单台服务器或一组 PC 上启动 50 台 VM。 场景:我尝试在一台具有足够计算能力(处理器)和 RAM 的服务器上启动 15 台虚拟机,但在这种情况下磁盘是一个瓶颈。在 Google 上搜索后,我了解了 Glusterfs 和 Ceph FS。我使用模板映像从这些模板映像启动许多虚拟机,使用覆盖概念,即单个 qcow 基础映像和每个虚拟机实例的覆盖。我使用 KVM 作为虚拟机管理程序,使用 Ubuntu 作为客户机和主机操作系统。 问题: 现在我使用 10 台 PC,这些 PC 的 CPU 和 RAM 足以启动 50 台虚拟机。我无法手动...

Admin

在远程服务器上运行模拟软件
distributed-computing

在远程服务器上运行模拟软件

有些模拟软件包需要花费大量时间和处理能力才能完成工作。如何在远程服务器上运行这些类型的软件?(例如有限元方法软件,如有限元分析软件,CST 单间套房,扎实的作品,...) 我是否应该使用与网站相同的流程来设置域名、主机和 CMS?例如,如果某个软件在 Windows 上运行,我是否应该拥有一个 Windows 主机并在服务器上运行它,就像在我的计算机上运行它一样?(在 GUI 中) ...

Admin

消费后删除日志:logstash
distributed-computing

消费后删除日志:logstash

我让 logstash 监视主机上的目录。每次看到与我在 logstash 配置中指定的路径匹配的日志时,它都会开始将数据导入我的 elasticsearch 集群。logstash 是否有办法在处理完日志后将其删除?我必须编写脚本来执行此操作。 ...

Admin

如何让分布式软件在 Linux 机器上保持最新
distributed-computing

如何让分布式软件在 Linux 机器上保持最新

我有自己的分布式软件,运行在不同地理位置的几个 RasPi(超过 20 个)上,但每次我在我的应用程序中进行某些更改时,我都必须手动更新所有 Pi 中的可执行文件,您对自动化这个过程有什么建议? ...

Admin