将多个文件和目录放入一个文件数据库

Question

我已经创建自己的数据库一段时间了，但对数据库的基础知识一无所知。所以我最终将其保存在目录中。

我最近发现大多数数据库都使用单个文件进行操作，而不是数百万个文件。因为查看一个文件占用的内存较少。

每个文件包含大约 6 行有关“文件名”的信息。它包含标题、类别、受欢迎程度等，没有随机性。它存储在如下所示的位置：

database/*/*/*.txt

前两个星号描述的是文件的类别，最底层是文件的保存位置。

哪些数据库应用程序易于转换以及哪些最适合该解决方案？

服务器运行的是 Debian i3 4 GB RAM，而且我还有一台可用的 Windows PC。

Answer 1

这个问题要求太多了。这不是点击一下就可以解决的。我以为有更多人遇到这样的问题，但后来我意识到每个人都在使用现成的搜索引擎。

我最终将整个数据库下载到我的 Windows 电脑上，并用 C# 编写了一个程序，该程序会自动遍历所有文件，获取内容并将其发布到我在 Debian 服务器上安装的 elasticsearch 数据库。我可能应该创建一个文件到文件的转换器，稍后可以直接将其放入数据库，但最终我执行了一个文件到纯 POST 请求。

这样做的缺点是速度不是太快，需要花 2 个小时才能将 700 000 个文件传输到数据库。

由于我在文件中使用了特定字符串，因此程序不会公开发布。所以这比我想象的要难得多。