我们公司有十多万张照片,如何高效地存储和浏览/查找这些照片?

我们公司有十多万张照片,如何高效地存储和浏览/查找这些照片?

我们目前将照片存储在这样的结构中:

文件夹\1\10000 - 19999.JPG|ORF|TIF(10 000 个文件)

文件夹\2\20000 - 29999.JPG|ORF|TIF (10 000 个文件) 等...

它们存储在 4 个不同的 2TB D-link NAS 上,这些 NAS 连接并在我们的办公网络上共享(\\nas1、\\nas2 等等......)

问题:

1) 当客户端(仅限 Windows、Vista 和 7)希望浏览 \\nas1\folder\1\ 文件夹时,性能相当差。这是一个问题。在资源管理器窗口中生成列表需要很长时间。即使关闭了图标。

2) 首次访问 NAS 本身有时速度很慢。问题。

SAN 磁盘对于我们来说太贵了。即使使用 iSCSI 接口/交换机技术。

我读过很多技术页面,它们说将 100,000 多个文件存储在一个文件夹中应该没有问题。但是,现在我们遇到了 10,000 级的问题,所以我们不敢这么做。

非常感谢大家的意见,

/T

答案1

1:是的,Explorer 不喜欢目录中有 10,000 个项目。1000 个更好。这不是文件系统问题 - 您可以安全地将 100,000 个文件存储在一个文件夹中,并通过命令行高效地处理它们。是 Explorer 速度慢。

2:Velociraptor 600gb 光盘。10,000 RPM。速度很快。需要更多,然后才能获得 SAS 的钱。或者等到价格便宜。如果我需要一辆卡车,我需要支付费用。

答案2

您需要查看数字资产管理软件。DAM 软件用于管理大量照片/视频/音频。它们通常以数据库为后盾来管理媒体目录。MS 就是一个例子视窗

答案3

我敢打赌,dlink 盒子的 CPU 或 RAM 已经耗尽。

我们每天存储数百万个新的图像文件。

Windows 不喜欢文件夹中有大量文件。我们在 Windows 计算机上将每个文件夹的文件数量控制在 10K 以下。

使用 SAMBA 的 Linux 是管理表示层比 Windows 上的 CIFS 更好的解决方案。我们在 Linux 上分层了 apache,以便用户浏览原始文件,并且还有一个数据库,帮助他们通过简单的 Web 深入应用获取所需信息。我们编写了自己的解决方案来管理图像,因为所有版本都存在问题。

LUN 上文件总数约为 8000 万或 2Tb。

我们使用 rsynch 备份到另一个磁盘系统,然后在卷变为非活动状态时将其发送到磁带。

您需要非常小心每个 RAID 组的磁盘,并在整个技术堆栈中小心管理您的 IO。很容易耗尽精力,并且随着大量数据的涌入,一旦落后,您就会陷入非常痛苦的境地。

CPU、RAM、Raid 卡、主轴、主板、网络——所有这些都需要尽可能快。

可行的方法是使用 LGA1366 Mobo 上的大量主轴和 pci 2.0 LSI 卡以及至少 x5550。

我们非常喜欢希捷台式机鱼子酱系列,因为它速度快又便宜。

我会制作一个带有许多主轴的定制盒子。

答案4

您应该使用 DAM 系统来跟踪这些图像。我喜欢将它们保存在 NAS 上的想法,前提是您可以备份它们,但您需要一个数据库驱动的应用程序来跟踪那里有什么文件,并在可能的情况下提供可搜索缩略图的数据库。我在低端使用 Extensis Portfolio 时运气不错。

查看:http://www.razuna.com/

相关内容