使用什么软件来管理/转换 10Gb csv 文件(1 亿多行)

使用什么软件来管理/转换 10Gb csv 文件(1 亿多行)

所以我有这个包含超过 1 亿条记录的 uge csv 文件,我想对其进行处理。我不想只是编辑它

我需要使用某种 Excel / 基本数据库转换(分组、提取一些字符、根据组合信息添加新列等)。

最好的方法是什么?导入数据库?(例如 Oracle,可以肯定 Access 无法管理这么大的文件)还有其他工具可用吗?在工作中我曾经使用过一款名为 Amadea 的软件(http://www.isoft.fr/html/prod_amadea_en.htm) 进行了一些类似的数据转换。不知道还有其他 (免费) 工具以同样的方式执行此操作。

谢谢!

答案1

一定要使用数据库。有很多免费的数据库,例如 MySQL,或者如果您只想一次在一台计算机上工作,那么 Sqlite 就非常好。

请首先检查您的导入是否正常工作,特别是当输入数据集中有非 ASCII 或大数字时。

相关内容