我必须处理1000万到1亿条记录。
完成后我必须将数据提供给客户。数据以 SQL 请求的形式提供,以便在数据库中执行。他有一个强大的 MySQL 服务器,我认为它的速度足够快。
问题是我的计算机不如他的服务器强大,所以我想使用另一个与 MySQL 兼容(我导出他的数据库并将其导入我的计算机)但功能更强大的 SQL 服务器。
我应该使用什么?还是我注定要使用 MySQL?
答案1
我认为使用 MySQL 来处理大型数据库不是一个好主意,最好使用 PostgreSQL。如果 MySQL 的数据库超过几 GB,那么您可能已经遇到问题,而使用 PostgreSQL,拥有如此规模的数据库应该不会有问题。
简单的数据库转储有时会显示出差异,例如,前段时间我不得不转储 MySQL 中的一个 6GB 数据库,但执行此操作时遇到了大问题,因为它失败了几次。而对于 postgreSQL,我转储 130GB 数据库时没有遇到任何问题。执行查询等也是如此。
答案2
如果您的客户端需要使用 MySQL,那么您就只能使用这个了。
显然,它在您的计算机上的运行速度会比在服务器上慢,但这通常不是什么大问题。如果您暂时需要更多容量,您可以随时租用 Amazon EC2 实例几个小时或更长时间。