根据行号拆分大文件,运行它,然后将最终输出附加到一个文件中

根据行号拆分大文件,运行它,然后将最终输出附加到一个文件中

我正在使用 R 包。在包中运行所需的输入文件很大(大小为 65 GB),因此我决定根据行号将文件拆分为块,然后将最终输出合并到单个文件中。我还想用 PERL 来完成整个过程。

我应该如何编写相同的代码?

答案1

split -l numberoflines inputfile

大文件将被分割为xaa、xab、xac等

最后你可以连接为cat xa* >> final_output_file

如果我想每 65 行分割文件,那么使用下面的命令

例子

split -l 65 inputfile

相关内容