distributed-filesystem

计算机之间的镜像磁盘
distributed-filesystem

计算机之间的镜像磁盘

我想要一个在两台计算机之间镜像的逻辑磁盘(使用 LVM)。也就是说,我想要一个文件系统在两台不同的计算机上拥有完整的副本。我想在 Linux 上执行此操作,最好没有重要的附加组件。 理想情况下,我希望能够从任意一台计算机本地访问它,并且 NFS 将其发布到其他计算机。 一种解决方案可能是在一台具有 iSCSI 或网络块设备 (NBD) 等的计算机上发布“磁盘”,在其上使用 RAID 镜像,然后使用文件系统,然后使用 NFS 与所有人共享。除了本地访问之外,它可以执行所有操作(但如果普通主服务器失效,则可以重新配置),并且可以轻松扩展到更多机器。 另一个可能是...

Admin

Opensolaris 是否提供分布式 ZFS 文件系统
distributed-filesystem

Opensolaris 是否提供分布式 ZFS 文件系统

我没有运气得到确认的对这个问题是或否。 我想将 ZFS 作为分布式文件系统运行(如 Gluster 或 CEPH)。 Linux 上的 OpenZFS 和 ZFS 还没有文件系统集群。 我的理解是分布式目前是专有(付费)Solaris 中 ZFS 的一个功能。Opensolaris 中也可用吗? 集群将与两个独立的服务器一起使用,每个服务器都使用自己的 JBOD。因此,我们需要一个跨网络(10Gb ETH)的解决方案。 ...

Admin

向 fstab 添加条目会导致进入紧急模式
distributed-filesystem

向 fstab 添加条目会导致进入紧急模式

这是我的本地系统配置。 NAME="elementary OS" VERSION="5.0 Juno" 我通过此命令将远程服务器的文件系统安装在子目录上,工作正常。 sudo sshfs -o allow_other [email protected]: /mnt/Production_server 终端首先提示输入本地的 sudo 密码,然后提示输入远程的密码。 (尽管我已经将本地的 ed25519 公钥复制到远程的 ed25519 公钥中~/.ssh/authorized_keys,但不知怎的,这不起作用。我想让它起作用,但这更像是...

Admin

无法在 Debian Stretch 上挂载 gfs2 文件系统,可能是 dlm 配置错误?
distributed-filesystem

无法在 Debian Stretch 上挂载 gfs2 文件系统,可能是 dlm 配置错误?

我正在 Debian Stretch 上尝试 gfs2,但遇到了一些困难。我是一位相当有经验的 Linux 管理员,但对共享磁盘和并行文件系统还不熟悉。 我当前的项目是在多个客户端上安装 gfs2 格式的 iscsi 导出设备作为共享文件系统。目前,我对 HA 或击剑不感兴趣,尽管这在以后可能很重要。 iscsi 部分很好,我能够登录到目标,将其格式化为 xfs 文件系统,并将其安装在多个客户端上并验证它是否显示相同的 blkid。 为了开展 gfs2 业务,我遵循 Debianstretch“gfs2”手册页上的方案,针对我的配置进行了修改,并通过各...

Admin

考虑将我的主目录保留在 OpenAFS 上是不是很疯狂?
distributed-filesystem

考虑将我的主目录保留在 OpenAFS 上是不是很疯狂?

我的职业是系统管理员,我在家里做的事情也是为了好玩。我有一台 Gentoo Linux 笔记本电脑、运行 Raspian 的 Raspberry Pi、一台 Gentoo 服务器、运行 Debian 的 ARM 设备以及各种 Android 设备。我总是在努力和担心在不同的设备之间备份和同步我自己的主目录,同时保持它相当安全,不被窥探。 上世纪 80 年代,我在卡内基梅隆大学与安德鲁有过接触,这就像魔术一样。如果 NFS 有某种机制来处理断开连接的访问​​并且不假定持续的网络连接,我会考虑 NFS。 OpenAFS 是否是管理员可能会考虑同步现代用户的“...

Admin

pnfs 的元数据服务器 (MDS) 集群
distributed-filesystem

pnfs 的元数据服务器 (MDS) 集群

长话短说 pNFS 似乎是对集中式共享存储进行多个并发访问的好方法,但它有一个问题:提供 NFS 元数据(元数据服务器,MDS)的单个 NFS 服务器存在单点故障。如果 MDS 变得无法访问,不久之后共享存储也将变得无法访问。 为了避免这个问题,我希望建立一个 MDS 集群。如何才能实现这一目标不拒绝客户端对集中存储的直接 I/O? HA-NFS 有一些解决方案,但它们都破坏了直接 I/O pNFS 功能。 故事很长 我正在探索(多个)选项来为 OpenStack 环境实现共享“数据存储”。 我目前正在研究将存储从集中式存储系统用作块存储的场...

Admin

Linux 上的 ZFS 只读挂载 + Solaris 上的同步读写挂载
distributed-filesystem

Linux 上的 ZFS 只读挂载 + Solaris 上的同步读写挂载

我们必须定期将相当大的文件从 Solaris 复制到 Linux(使用网络)。目前一个文件需要近半天的时间。 Solaris 中的文件位于 ZFS 文件系统上。 所以我想,这真是太糟糕了——我们也许可以在 Linux 上安装 ZFS。 但 ZFS 不是集群(或可集群)文件系统。 假设:所以我认为我们可以,因为我们只是从 Solaris 复制 - 我们可以以只读方式安装相同的 ZFS 文件系统,因此在这种情况下不必进行集群?因为写入仅在 Solaris 端(我们无法在那里卸载它)。 Solaris 机器非常繁忙,网络网卡几乎也总是非常繁忙。因此,通过将...

Admin

如何移动目录?
distributed-filesystem

如何移动目录?

我在 HDFS 中有一个目录,其中包含由 Spark 创建的部分 xxxxx 文件的子目录。我想将该目录(以及其中的所有内容)移动到一个新目录中。如何? 我的尝试: [gsamaras@gwta3000 ~]$ hadoop fs -mv  /projects/landmarks/ /projects/landmarks/all/ mv: ` /projects/landmarks/': No such file or directory [gsamaras@gwta3000 ~]$ hadoop fs -mv  /projects/landmark...

Admin

分布式文件系统可以很好地处理多个小文件
distributed-filesystem

分布式文件系统可以很好地处理多个小文件

嗨,我的用例非常具体。 我有 20 台 Windows 7 机器不断在存储中创建文件;这些文件约 98% 为 2.1 MB。平均每 3 天我们会创建 2400 万个文件,而且这个数字在不久的将来可能会增加,因为我们可能需要向系统添加新客户端。 我不修改文件(只是创建、读取、复制和删除)。我已经看到了 Reiser4,它看起来很有前途,但我也希望能够在网络上的多个存储节点之间复制文件,这样我就可以拥有一个容错系统。 有什么建议吗? ...

Admin

“连接”符号链接
distributed-filesystem

“连接”符号链接

Linux 是否能够使用“联合”符号链接?我不确定这是否是一个实际术语,所以让我解释一下这个概念。 我有一个 git 存储库,其中包含~/dotfiles.我使用到该目录的符号链接来“激活”它们。例如,通过执行ln -s ~/dotfiles/bash/bash_profile ~/.bash_profile来生成链接: ~/.bash_profile -> ~/dotfiles/bash/bash_profile 但是,我发现自己处于想要合并多个文件的内容的情况。例如,我希望~/.bash_pr...

Admin

验证 start-dfs.sh
distributed-filesystem

验证 start-dfs.sh

我正在尝试设置一个 Hadoop 集群,其中 master 是我的笔记本电脑,slave 是 virtualbox,遵循此指导。所以,我做到了,从掌握: gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ sudo ./start-dfs.sh Starting namenodes on [master] root@master's password: master: namenode running as process 2911. Stop it first. root@master's password:...

Admin

并行、分布式、传统文件系统
distributed-filesystem

并行、分布式、传统文件系统

我试图在非常基础的层面上理解这三个文件系统之间的差异。 分布式文件系统:HDFS 并行 FS:光泽 传统文件系统:ext4/ext3/NTFS/FAT等 我想知道这三个文件系统之间的基本概念差异是什么。我的大部分知识都是传统文件系统,即ext3/4超级块,索引节点等。 如果基于 MPI 的进程(np=8)尝试从文件系统读取文件或写入文件 A,那么这些上下文中的文件访问机制有何不同 文件在这个环境中是如何存储的?即文件 A 将被分割到多个磁盘上,或者文件 A 将在存储上有冗余副本。或者更简单的场景是多个用户打开一个word文档然后保存它,那...

Admin

GNU\Linux 集群,哪个级别?哪个应用程序?
distributed-filesystem

GNU\Linux 集群,哪个级别?哪个应用程序?

我需要启动 GNU* 集群,但我有问题,哪个级别: 数据库级别? (复制) 文件系统? (分散式) 过程级别 ? (例如文明软件的intel fortran) 新流程? (如上,有一些差异) 我知道数据库级别有每个数据库后端单独的rrplication。 LinuxbtrFS和 freebsd 使用分布式文件系统zfs。但是我对进程集群及其软件有严重的问题。 不管怎样,问题是,进程级别的内核级别是什么?如果我strt它,我是否必须强制使用分布式文件系统? ...

Admin

clvm (cman) 有 dlm 问题
distributed-filesystem

clvm (cman) 有 dlm 问题

我正在尝试创建一个卷组,可以使用 clvm 在两台服务器上访问该卷组。我读到了它,看起来使用 cman 来做到这一点是最容易的。但经过几个小时的测试后,我无法实现有效的设置。我无法启动 clvmd,我很沮丧,因为我找不到原因。为什么它说无法连接到本地套接字?它的socket是什么意思?几秒钟后,dlm 出现问题(见下文)。 # clvmd -fd2 -I cman local socket: connect failed: No such file or directory clvmd could not connect to cluster manage...

Admin