![在nodejs中高效地查找文件?](https://linux22.com/image/765329/%E5%9C%A8nodejs%E4%B8%AD%E9%AB%98%E6%95%88%E5%9C%B0%E6%9F%A5%E6%89%BE%E6%96%87%E4%BB%B6%EF%BC%9F.png)
我想编写一个节点应用程序,从纯文本文件中查找一堆黑名单。基本上都在代表不同类别的目录下,每个目录中都有一个名为的文件域其中有一堆用换行符分隔的域名。
因此,我的应用程序将查看这些文件,当我对特定域进行 API 调用时,它应该查看该目录下,找到域文件,然后确定该域是否在该域文件中列出。
我希望能够高效地完成这项工作,无论是内存方面还是计算方面。我一直在考虑几种方法。
- 首先,我尝试将整个文件加载到字典中,以域为键,以类别 ID 为值。这对内存来说非常糟糕,因为其中一些域文件大到 15 MB,而由于查找表的工作方式,生成的字典大约占用 250 MB 的内存。
- 我考虑过只保留类别 ID 到域列表的映射,然后打开文件并进行搜索,并保留本地缓存以防再次使用该域。但是,从磁盘角度来看,这显然非常低效,因为您在查找时会加载整个文件并搜索它。
- 我尝试使用 redis 来完成第一件事,但是它更慢。
我想知道是否有一些库可以使用索引,其中很多列表都在磁盘上,如果需要磁盘查找,索引可以轻松跳转到文件中的正确位置,然后可能将文件的部分内容缓存在内存中,而不是整个文件。似乎一定有一些库或应用程序适合这种情况。有什么想法吗?
谢谢