distributed-filesystems

我们需要的
distributed-filesystems

我们需要的

我们面临着一个设计“挑战”,需要建立具有以下属性的存储解决方案: 我们需要的 哈 可扩展的存储后端 客户端上的离线/断开连接操作可解决网络中断问题 跨平台访问 客户端访问肯定来自 Windows(可能是 XP 以上版本),也可能是 Linux 后端与 AD/LDAP 集成(权限管理(用户/组管理,...)) 应该可以在较慢的 WAN 链路上很好地工作 另一个问题是,我们实际上并不了解这里所有可能的用例,如果人们需要能够并发访问共享文件,或者他们只能访问自己的文件,那么可能的解决方案需要考虑并发访问以及从用户的角度来看,在这种情况下冲突管...

Admin

如何加快网络文件系统(NFS)上的“ls -l”?
distributed-filesystems

如何加快网络文件系统(NFS)上的“ls -l”?

我有一个按以下方式安装的 NFS 卷: theHostname.com:/path/on/theHostname on /local/path type nfs (rw,nosuid,addr=10.0.0.54) 该/local/path目录有 30_000 个文件。当我执行 als时,/local/path平均需要大约 1 秒。当我执行 a 时,ls -l平均需要大约 60 秒。 ls -l除了加快网络连接速度之外,还有其他方法可以加速 NFS 吗? ...

Admin

NFS 显示目录中的文件,但无法打开或统计
distributed-filesystems

NFS 显示目录中的文件,但无法打开或统计

我正在使用 Linux(内核为 2.6.32 的 Debian Squeeze)计算机网络,使用 NFS(v3)共享文件。场景是,在客户端 A 上运行的进程将通过文件服务器 Z 上的 NFS 创建一个文件。然后,在 A 上运行完该进程(刷新其输出并关闭文件)后,客户端 B 将尝试访问该文件。99.9% 的时间里,这种方法都没有问题。 问题是,客户端 B 在尝试读取时极少会抛出错误,指出文件不存在。问题是,当对包含目录执行“ls”或 readdir 时,B 始终会显示该文件。但是,当尝试打开,甚至对文件调用“stat”时,会抛出不存在错误。 一些补充要点:...

Admin

在多个磁盘上分配访问
distributed-filesystems

在多个磁盘上分配访问

我有一个相当大的应用程序,需要同时访问相当多(300 多个)大文件,并通过同时读取它们来访问它们。 如果将所有文件放在 1 个磁盘上(如果我的磁盘足够大),应用程序的执行速度就会变得非常缓慢。为了解决这个问题,我将文件分布在几个物理磁盘和机器上,NFS 挂载分区并使用 bash 脚本创建大量符号链接,以便所有文件都出现在 1 个大目录中。这对于提高执行速度非常有效,分布在 3 个磁盘上可以将执行速度提高 10 倍或更多。 有人能建议一种不太麻烦的设置方法吗?我担心的是,像 RAID 或 Gluster 中的条带化可能效果不太好,因为从来不需要对任何一个文...

Admin

在 ZFS 支持的 Lustre 集群中,快照和克隆是否覆盖整个文件系统
distributed-filesystems

在 ZFS 支持的 Lustre 集群中,快照和克隆是否覆盖整个文件系统

我的目标是找到一个 Linux 上支持类似 ZFS 的轻量级快照和快照克隆的分布式文件系统。这个 StackOverflow 问题很好地表达了我的需求。我正在尝试弄清楚 Lustre + ZFS 是否是解决方案。 如果我设置了 ZFS 支持的分布式 Lustre 文件系统,我是否可以对其进行快照,然后挂载和克隆这些快照?或者 ZFS 快照功能是在单个 OSS 级别而不是在整个分布式文件系统上运行? 到目前为止,我的研究让我倾向于 Lustre + ZFS 作为一个有前途的选择,但互联网上的共识似乎是,直到最近的 0.6.1 版本发布之前,Linux 上的...

Admin

ZFS 集群文件系统可行吗?
distributed-filesystems

ZFS 集群文件系统可行吗?

是否可以创建 ZFS 集群?或者您是否需要采用看似丑陋(至少对我来说)的 ZFS 路线,使用由 GlusterFS 管理的 UFS 格式化池? 这个想法是看看是否有可能扩展到多 PB 分布式存储,ZFS 应该能够顺利处理。 有什么指示、博客、帖子吗? ...

Admin

SQl Server 分片
distributed-filesystems

SQl Server 分片

SQL Server 可以分片以进行分布式数据处理吗?或者是否存在任何限制阻止关系数据库进行分片? ...

Admin

故障安全 RAM 驱动器解决方案
distributed-filesystems

故障安全 RAM 驱动器解决方案

我正在寻找一个生产解决方案来创建一个可以与 HDD 安全同步的 RAM 驱动器。 我有一款 I/O 负载很大的定制软件(这是某种专有的面向文档的数据库),我需要大幅加快它的速度。我无法修改或删除软件本身,因此必须进行水平或垂直扩展。该软件不支持水平侦察,因此我首先考虑垂直扩展。 主要想法很简单 - 我们购买大量 RAM(96GB)并将所有内容放入 RAM 驱动器。但它需要具有故障安全性,服务器重启时丢失任何数据都是不可能的。所以我正在寻找能够保持 RAM 驱动器和 HDD 之间透明同步的解决方案。 像通过...

Admin

DFS - 停止同步已被删除的大文件夹
distributed-filesystems

DFS - 停止同步已被删除的大文件夹

我们在 Windows Server 2008 R2 上有一个站点到站点的 DFSR,它在站点 A 和站点 B 之间运行良好,直到有人转储了一个 20GB 的文件夹。这导致上传不堪重负,导致站点 A 的互联网几乎无法使用(分支机构的上传速度很低)。 我们已从站点 A 上的 DFS 共享中删除了该文件夹,但互联网速度仍然很慢。 有什么方法可以取消此同步或通过其他方式让 DFSR 恢复到正常状态? ...

Admin

在家中建立分布式容错存储
distributed-filesystems

在家中建立分布式容错存储

我厌倦了担心家里的数据丢失。我的妻子是一名半职业摄影师,我们家里的所有记忆基本上都是数字化的(我们应该将非数字化的记忆转换过来)。我计划设置两个系统来托管磁盘,并通过两个系统磁盘上的 iSCSI 运行某种集群文件系统(然后将其备份到外部驱动器,这些驱动器每周轮换一次)。我运行 Linux,需要支持 Apple OS X 和一点 Windows(可以忽略 Windows,因为它将用于 VMware 实验及其自己的 LUN,或者可以与 SMB 共存)。所以如果有 Mac 原生客户端就太好了,但我可以使用 NFS。 该环境还将配备一台 Mac 笔记本电脑、一台 ...

Admin

删除 ceph 中的文件不会释放磁盘空间
distributed-filesystems

删除 ceph 中的文件不会释放磁盘空间

Ceph 版本:16.2.13 (pacific)(我知道 pacific 已弃用,但整个环境都是旧版(如 centos 7.3)。我也没有权限升级。)集群有 6 台服务器(22 个 osd,97 个 pg)。有一个通过 NFS 导出的 CephFS。客户端通过 NFSv4.1(NFS-Ganesha)访问集群。客户端使用以下命令进行挂载: # mount -t nfs -o nfsvers=4.1,noauto,soft,sync,proto=tcp 172.20.0.31:/exports /cephmnt 我将一个文件夹(大约 5.2GB)复制到 /...

Admin

Kubernetes homelab 本地存储选项
distributed-filesystems

Kubernetes homelab 本地存储选项

我认为我有一个 XY 问题,如果您能将其识别为 XY 问题,请相应地回答! 背景 我的主要目标是学习 Kubernetes,其次要目标是做家庭实验室的东西——为那些应该接触更多草的人托管各种小型服务。有了这个,我有一个运行 K3S 的 coolberetes 家庭实验室集群、一些工作节点、一个由 potato 驱动的集群管理器节点和一个 QNAP NAS 作为后端存储。 QNAP 在 RAID-6 中拥有 8x12TB 7200RPM 硬盘。它在持续传输方面表现出色,但随机 IO 使其表现不佳。这是由于工作负载...

Admin

分布式文件系统网络引导主机
distributed-filesystems

分布式文件系统网络引导主机

当我将旧服务器用作像 MooseFS 这样的备份分布式文件系统时,我发现整个概念存在冲突: DFS 具有容错能力,并可自行跟踪 HDD 状态,因此任何承载数据的文件系统最好不使用 RAID。不过,操作系统应该能够容错 HDD 故障,并且不会出现任何可能的启动问题。使用 RAID 是实现此目标的最佳方式。 在我的设置中,这给我留下了很少的选择: 使用 RAID-1 中的两个 HDD 来存储操作系统,使用 JBOD 中的其他 HDD 来存储数据,这样会占用 4xLFF 服务器 HDD 托架的一半。 在 LVM 或 MD 模式下使用小分区,并使用大分区来存储数据...

Admin

用于网络存储的分布式 SSD 缓存
distributed-filesystems

用于网络存储的分布式 SSD 缓存

我们的小型计算集群有 3 个计算节点和 1 个文件服务器。文件服务器有大约 70TB 的数据可供 3 个计算节点访问。所有 3 个计算节点都有 3 个 4TB SSD,目前处于闲置状态。 目前,计算节点使用 NFS 访问文件服务器上的文件,并且所有服务器都连接到 1 Gbps 网络。是否有适当的方法可以从这些 SSD 中创建“缓存池”,以便无需始终从文件服务器访问文件?或者这甚至是一个正确的解决方案,还是我应该只使用本地 SSD 缓存? GlusterFS我曾尝试使用这些 SSD 并FS-Cache在 GlusterFS 之上进行设置,但它没有缓存任何内容。...

Admin

是否存在适用于 Linux 的远程文件系统,可以加密并能抵御不可靠的服务器?
distributed-filesystems

是否存在适用于 Linux 的远程文件系统,可以加密并能抵御不可靠的服务器?

我尝试过 sshfs 和 SMB 的多种组合,以及在 Cron 作业中使用 autofs 和/或手动挂载,当服务器不可用或一开始就不可用时,我总是遇到冻结/长时间超时问题。 我的要求如下: 在本地文件系统中有一个实际的、合适的挂载点(即不是像 KIO 这样的挂载点),并且与任何应用程序兼容 当服务器可用时自动挂载远程文件系统 当尝试访问服务器已消失的挂载点时,我希望快速超时(例如 3 秒),然后返回 I/O 错误,而不是让进程冻结,这样系统稳定性就不会受到影响 加密效果相当好,因为这应该是通过互联网进行的 即,只是一个“合理的远程文件系统”,就像任何远程...

Admin