分割一个大的 csv 文件

分割一个大的 csv 文件

我有一个game_data.csv超过一百万行的文件(大小为 70MB)。我正在编写一个应用程序,它将对 CSV 进行一些处理并将 CSV 数据写入数据库。

在开发应用程序时,我想要一个较小的 CSV 来工作,我可以运行什么 Linux 命令来获取 CSV 的前 1500 行并将其放入单独的 CSV 文件中subset_game_data.csv

我使用的是 Manjaro Linux(如果有的话)。

答案1

如果数据不包含换行符,则可以使用 轻松完成此操作head -n 1500 game_data.csv > subset_game_data.csv

如果数据包含换行符,您需要正确解析它。使用任何工具,如 Libreoffice Calc 或 python 脚本。csvkit可以用类似的东西来解决这个问题

csvsql --query "select * from data limit 1500" game_data.csv > subset_game_data.csv

相关内容