我有一个 Python 脚本,它接受一个大文件,逐行读取,处理每一行,最后将处理后的行转储到一个新文件中。我每 500 行打印一次操作所用的时间。问题是 2-3 周前处理一个文件需要 20 分钟。处理同一个文件现在需要 2 小时以上。我很确定我没有更改代码。这个 Python 脚本的 RAM 使用率保持在我 RAM(8 GiB)的 40-50% 以下。有什么方法可以找出可能出现的问题或我应该采取哪些步骤来找出问题?
(这是一个宠物项目,需要大量数据,因此需要使用外部硬盘)
我有一个 Python 脚本,它接受一个大文件,逐行读取,处理每一行,最后将处理后的行转储到一个新文件中。我每 500 行打印一次操作所用的时间。问题是 2-3 周前处理一个文件需要 20 分钟。处理同一个文件现在需要 2 小时以上。我很确定我没有更改代码。这个 Python 脚本的 RAM 使用率保持在我 RAM(8 GiB)的 40-50% 以下。有什么方法可以找出可能出现的问题或我应该采取哪些步骤来找出问题?
(这是一个宠物项目,需要大量数据,因此需要使用外部硬盘)