我正在使用 Python 脚本为深度学习项目生成数百万张 jpg 图像。我将这些图像存储在 Mac 上的 14TB 硬盘上。包含这些图像的图像文件夹的总大小预计约为 1.2TB。
我注意到,随着脚本的运行(达到 400-500k 的范围),它开始变慢,图像不会立即显示在硬盘上。例如,我今天早上 8 点停止了脚本,但最新的图像在 03:46 保存到了硬盘上。如果我重新启动 Finder(它是 Mac),会显示更多最近保存的图像,但不是全部。
现在我发现,当我打开 HD 并查看文件夹时,没有任何内容显示,尽管我通过终端查看时可以看到所有图像。
对我来说,这似乎是高清保存图像的带宽问题,并且在我停止脚本(即尝试赶上)之后它仍在保存图像。
我不是这方面的专家,但我想知道是否有人可以帮忙
找出问题所在(可能很简单……
请给我一些建议,告诉我如何最好地解决这个问题。有没有更好的方法来格式化硬盘,以便可以存储数百万个小文件?
最后,我应该补充一点,我已经从 Mac 上的 Spotlight 中删除了 HD(以防止它尝试索引所有文件)......所以我不认为这是问题所在。