我需要处理“大数据”(近 1TB,可以分成更小的块)。考虑几种编程语言(Java、Python、C++、Perl)和其他脚本选项(Perl、awk、sed 等),它们在以下情况下如何比较性能:
- 数据在文件中,我只需要读取它们并处理它们。
- 数据在Oracle服务器中,我需要从Oracle获取它们,处理然后将它们放回Oracle。
该语言的语法复杂性(即学习或编程的难度)对于我的任务来说并不重要。主要问题是一个人在执行 I/O 方面是否比另一个人更好。
答案1
您提出的建议听起来像是大量数据,但按照今天的标准,几乎没有什么要求。我在工作中经常处理这个问题,任何发行版都可以处理它,并且您列出的任何语言都可以胜任该任务。
限制因素将是您的物理硬盘技术。等式中的其他一切都是“不关心”。