如何设置Hive Metastore堆大小的值

如何设置Hive Metastore堆大小的值

当hive metastore安装在两台机器上时,我们有hadoop集群(基于ambari平台) 。

有时在作业运行期间(我们从 presto 运行查询),我们看到由于堆大小而导致作业失败。 (元存储堆大小)

在我们的例子中这是因为元存储堆问题

从元存储日志中我们可以看到以下内容:

2021-12-13 01:39:23,145 INFO  [org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@1595ec02]: common.JvmPauseMonitor (JvmPauseMonitor.java:run(193)) - Detected pause in JVM or host machine (eg GC): pause of approximately 3263ms
No GCs detected

因此我们将元存储堆大小从 2G 增加到 4G

但问题是如何知道 MetaStore 堆的正确大小以及根据什么

例如,如果我们将其与 namenode 的 HDFS 堆大小进行比较

我们可以说namenode堆大小应该根据namenode管理的文件数量而定

但是 Metastore heapsize 的相同概念是什么?

如何计算元存储堆大小?

参考 -https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hive_tuning.html

https://docs.informatica.com/data-engineering/data-engineering-integration/10-1/_user-guide_big-data-management_10-1_ditamap/connections/hive_connection_properties.html

https://stackoverflow.com/questions/56363736/hive-too-many-connection-to-postgresql-db

https://docs.microsoft.com/en-us/azure/databricks/kb/metastore/hive-metastore-troubleshooting

https://www.linkedin.com/pulse/hive-metastore-hcatalog-hcat-haotian-zhang/

相关内容