apache-hive

如何设置Hive Metastore堆大小的值
apache-hive

如何设置Hive Metastore堆大小的值

当hive metastore安装在两台机器上时,我们有hadoop集群(基于ambari平台) 。 有时在作业运行期间(我们从 presto 运行查询),我们看到由于堆大小而导致作业失败。 (元存储堆大小) 在我们的例子中这是因为元存储堆问题 从元存储日志中我们可以看到以下内容: 2021-12-13 01:39:23,145 INFO [org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@1595ec02]: common.JvmPauseMonitor (JvmPauseMonitor.java...

Admin

hive + nofile 和 nproc 是什么意思
apache-hive

hive + nofile 和 nproc 是什么意思

关于hadoop集群中的hive 下面的是什么意思 hive - nofile 30000 hive - nproc 18000 文件: more /etc/security/limits.d/hive.conf # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additi...

Admin

如何验证 DB hive 是否已经存在?
apache-hive

如何验证 DB hive 是否已经存在?

我们使用 Expect 脚本和其他一些命令创建一个 Hive 数据库。 如果我们在已经创建的 hive 机器上再次运行 Expect 脚本,我们会得到: 错误配置单元已存在 我们如何检查是否数据库配置单元已创建再次创建之前? 通过这个验证我们可以逃避期待脚本: # su - postgres Last login: Sun Aug 13 11:12:03 UTC 2017 on pts/0 -bash-4.2$ psql psql (9.2.13) Type "help" for help. postgres=# CREATE D...

Admin

如何更改 Hive 服务器时区
apache-hive

如何更改 Hive 服务器时区

我在用阿帕奇蜂巢在红帽上。蜂巢版本是1.2.1. Hive 中的当前时区是EST,我想将其转换为GMT. PS:我想更改 Hive 服务器时区,我并不是在询问是否使用 Hive 中可以将EST时区转换GMT为时区的特定函数。 ...

Admin

更改 Hive 数据库中的列数据类型
apache-hive

更改 Hive 数据库中的列数据类型

我可以更改 Hive 数据库中的数据类型吗?以下是有关相同内容的完整信息。 我有一个名为“test”的数据库。它有一个表“名称”。下面是我在名称表中创建列时使用的查询。 create table name(custID String,nameValuePairs array<struct< key:String, value:String>>) row format delimited fields terminated by '/' collection items terminated by '|' map keys term...

Admin

在将 bash 变量存储到 apache hive 数据库之前对其进行转义
apache-hive

在将 bash 变量存储到 apache hive 数据库之前对其进行转义

我正在运行一个脚本文件sqoop_import_ATM.sh,并希望将日志存储在SQL数据库中。 我做的第一件事是将日志定向到我自己的变量中: OUTPUT="$(/home/me/sqoop_insights_extract/./sqoop_import_ATM.sh 2>&1)" 这同时得到stdout和stderr 然后我将其存储OUTPUT在SQL数据库中(这部分不起作用): hive -e "INSERT INTO SCHEDULED_MIGRATION_LOGS VALUES ('$OUTPUT')" 以下是可能包含...

Admin

为什么使用管道“|”终止第二个进程,有办法阻止吗?
apache-hive

为什么使用管道“|”终止第二个进程,有办法阻止吗?

只是为了提供一些上下文,我正在尝试运行这个命令 echo "set hive.execution.engine=tez;" | hive 一旦“set hive.execution.engine...”进入 hive 交互式 shell,hive 就会终止, 我希望它保留在 hive 交互式 shell 中,但 shell 随后终止,我又回到了正常的 linux shell。 ...

Admin