虚拟机上的 Hadoop

虚拟机上的 Hadoop

我们希望从 MySQL 迁移到 Hadoop 以实现可扩展性。在虚拟机上运行的 Hadoop 集群会提高我们网站的性能吗?

在虚拟机(ESXi)上实现Hadoop集群有哪些优点和缺点。

答案1

Hadoop 是一个可扩展的数据处理平台。MySQL 是一个用于实时使用的关系数据库。

HBase(运行在 HDFS --> Hadoop 分布式文件系统上)是一个 BigTable 实现:大表但不是关系表!

您能将您的应用程序映射到这些约束中吗?只有当您能够进行这种映射时,“它是否会执行”的问题才是有用的。

答案2

Jonar 不,你不能使用 Hadoop。Hadoop 和基于 Hadoop 的工具(如 Pig 和 Hive)是后端进程的不错选择,因为后端进程的吞吐量比响应时间更重要。由于你想要为网站提供支持,我猜你需要亚秒级的响应时间,没有什么比 RDBMS 更适合这一点了。即使你使用专用机器,Hadoop 对你来说也会很慢。虚拟机不会为你增加任何价值

正如 Niels 所提到的,您可以使用 Hbase,但很可能无法轻松地将 MySql 流程适应 Hbase,因此我鼓励您了解 Hbase 并知道它的局限性。

相关内容