hive部署

恩慈2年前技术文章809

安装前准备

修改环境变量

vi /etc/profile

 

添加内容如下:(hive节点都要执行)

export HIVE_HOME=/opt/hive

export PATH=$PATH:$HIVE_HOME/bin

 

source  /etc/profile

创建用户和用户组

groupadd hive

useradd -g hive hive

usermod -aG hadoop hive

安装hive

上传安装包并解压

tar -zxf apache-hive-3.1.3-bin.tar.gz -C /opt/

ln -s apache-hive-3.1.3-bin /opt/hive

 

上传驱动包

mysql-connector-java.jar

复制文件

scp -rp /opt/apache-hive-3.1.3-bin xxx.xxx.xxx.220:/opt/

ln -s /opt/apache-hive-3.1.3-bin /opt/hive

 

cp /usr/share/java/mysql-connector-java.jar /opt/hive/lib/

cp /opt/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/hive/lib/

(复制完成后删除之前的guava)

 

cp alluxio-2.9.3-client.jar /opt/hive/lib/

 

创建文件并修改权限

hdfs dfs -mkdir -p  /user/hive/warehouse

hdfs dfs -mkdir /tmp

hdfs dfs -chmod g+w /tmp  /user/hive/warehouse

hdfs dfs -chmod 777  /user/hive/warehouse

 

mkdir /log/hive

mkdir /log/hadoop

chown -R hive:hadoop /opt/hive/

chown -R hive:hadoop /log/hive /log/hadoop

 

配置hive

修改hive-env.sh

vi /opt/hive/conf/hive-env.sh

 

添加如下内容:

export HADOOP_HOME=/opt/hadoop

export HIVE_LOG_DIR=/log/hive

 

export HIVE_HOME=/opt/hive

 

export HIVE_CONF_DIR=/opt/hive/conf

 

if [ "$SERVICE" = "hiveserver2" ] ; then

 

        HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Dhive.log.dir=/log/hive -Dhive.log.file=hiveserver2.log -Dcom.sun.management.jmxremote.authenticate=false    -Dcom.sun.management.jmxremote.ssl=false    -Dcom.sun.management.jmxremote.local.only=false  -Dcom.sun.management.jmxremote.port=9611   -javaagent:/opt/prometheus/jmx_prometheus_javaagent-0.3.1.jar=9511:/opt/prometheus/hiveserver2.yml"

 

fi

 

if [ "$SERVICE" = "metastore" ] ; then

 

        HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Dhive.log.dir=/log/hive -Dhive.log.file=metastore.log -Dcom.sun.management.jmxremote.authenticate=false    -Dcom.sun.management.jmxremote.ssl=false    -Dcom.sun.management.jmxremote.local.only=false  -Dcom.sun.management.jmxremote.port=9606   -javaagent:/opt/prometheus/jmx_prometheus_javaagent-0.3.1.jar=9506:/opt/prometheus/hive_metastore.yml"

 

fi

 

export HIVE_AUX_JARS_PATH=/opt/hive/lib/alluxio-2.9.3-client.jar:${HIVE_AUX_JARS_PATH}

启动服务

初始化

创建hive元数据库,连接mysql数据库

create database metastore;

create user 'hive'@'%' identified by 'xxxxxxxx';

grant all privileges on metastore.* to 'hive'@'%' ;

 

cd /opt/hive/bin

schematool -dbType mysql -initSchema

启动服务

su - hive

$HIVE_HOME/bin/hive --service hiveserver2 > /log/hive/hiveserver2.log 2>&1 &

$HIVE_HOME/bin/hive --service metastore> /log/hive/metastore.log 2>&1 &

 


相关文章

ranger对接hbase 处理class not found

ranger对接hbase 处理class not found

hbase 2.1版本在配置ranger插件,重启hbase时,hmaster无法正常启动,日志显示meta region is in state OPENING此时查看regionserver 中日...

PromQL查询解析

一. 概述Prometheus除了存储数据外,还提供了一种强大的功能表达式语言 PromQL,允许用户实时选择和汇聚时间序列数据。表达式的结果可以在浏览器中显示为图形,也可以显示为表格数据,或者由外部...

热点现象(数据倾斜)怎么产生的,以及解决方法有哪些

热点现象:某个小的时段内,对HBase 的读写请求集中到极少数的Region 上,导致这些region所在的RegionServer 处理请求量骤增,负载量明显偏大,而其他的RgionServer明显...

Linux网络扫描和嗅探工具—Nmap

1、简介Nmap,也就是Network Mapper,是Linux下的网络扫描和嗅探工具包。它由Fyodor编写并维护。由于Nmap品质卓越,使用灵活,它已经是渗透测试人员必备的工具。其基本功能有三个...

alluxio短路读

alluxio短路读

原理当Client和Worker在同一节点时,客户端对本地缓存数据的读写请求可以绕过RPC接口,使本地文件系统可以直接访问Worker所管理的数据,这种情况被称为短路写,速度比较快,如果该节点没有Wo...

Linux操作系统启动流程

Linux操作系统启动流程

无论Windows还是Linux操作系统,启动之前都会对硬件进行检测,之后硬盘引导启动操作系统,下面是与启动系统相关的几个概念。BIOS基本输入输出系统 是一组固化到计算机主板上的只读内存镜...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。