我有大量结构化数据通过网络从不同的来源传入,这些数据被存档在文件系统中,经过解析/分析,最终进入数据库 (mysql),供一些应用程序访问。这些数据不适用于关系,必须经过大量处理。
我想用其他系统替换“存档到文件系统”步骤,该系统具有同等的可靠性(即零数据丢失),但具有数据库的功能,包括查询和 API 接口。在我看来,其中一种 NoSQL 产品非常适合此目的,因为它们满足查询 + API 条件,并且不会强迫我将数据推入结构化格式。我真的很喜欢 mongodb,但 AFAGTM 它(以及其他 nosql 产品)牺牲了可靠性和数据完整性来提高性能。我正要设置一个启用了日志记录的 mongodb 实例,但在这样做之前,我想特别确定一下。
我不需要 DMS 或相关系统,因为数据更像是日志而不是文件。而且显然我有备份等。
总结 我正在寻找一种可以充当“档案”的 NoSQL 产品,它永远不会吞噬我的数据。
谢谢。抱歉写得太长了。