分布式日志记录文本文件

分布式日志记录文本文件

我在不同的机器上生成了一些日志。每个日志代表用户执行的操作。日志是使用 file_put_contents 在 php 中附加生成的文本文件。日志中的一行代表用户执行的操作、时间等。每个用户操作都有许多这样的日志。现在我想通过按时间升序查看这些日志来创建一个用户配置文件,其中包含他所做的所有操作。我该怎么做?

我还计划将这些用户配置文件存储在 MYSQL 数据库中。我们有大量超过 50GB 的文本数据,我必须从中创建这些配置文件。这样可以吗?

是否有任何工具可以让我从这些日志中获取商业情报。(假设我想查看今天有多少用户执行了特定操作等)。

答案1

对于随机的 MySQL 服务器来说,50GB 可能有点多。根据您计划做什么,您可能需要考虑多个 MySQL 服务器(分片)。绝对有可能获得具有足够内存的服务器,以将整个数据集保存在内存中,这会有所帮助。

如果您只是将这些存储在文本文件中,则需要一些自定义应用程序来为您浏览日志。没有现成的应用程序可以直接完成此操作。

相关内容