CDH实操--客户端安装

耀灵2年前技术文章931

CDH客户端安装

概述

安装CDH客户端,主要是方便在CDH部署节点以外,通过客户端的方式连接CDH上的hdfs,hive和hbase服务

1、安装jdk(适配CDH即可,一般1.8)

2、获取安装包

1.png 

3、部署安装包

把安装包解压即可:

mkdir /opt/CDH_client

mkdir /opt/CDH_client/etc

tar xvf CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel

mv CDH-6.0.1-1.cdh6.0.1.p0.590678 CDH

4、配置客户端

A、从hadoop获取hive配置文件

  a、 在Cloudera Manager管理界面中,选择Hive服务

  b、 在操作菜单中选择下载客户端配置文件

  c、 将配置文件上传Hadoop客户端/opt/CDH_client/etc目录,文件名为hive.zip

  d、unzip /opt/CDH_client/etc/hive.zip

B、从hadoop获取hbase配置文件(CDH03为hadoop集群一个节点)

  a、scp -r root@CDH03:/etc/hbase /etc/

C、配置客户端节点hosts文件

  a、将CDH集群的hosts映射拷贝到客户端节点即可

D、修改客户端环境变量,将以下命令追加到/etc/profile里,确保每个用户都有同样一套环境变量

export JAVA_HOME="/usr/java/jdk1.8.0_181-cloudera"

export HADOOP_HOME="/opt/app/CDH_client/CDH"

export HIVE_HOME="/opt/app/CDH_client/CDH/lib/hive"

export HBASE_HOME="/opt/app/CDH_client/CDH/lib/hbase"

export HCAT_HOME="/opt/app/CDH_client/CDH"

export HADOOP_CONF_DIR="/opt/app/CDH_client/etc/hive-conf"

export HIVE_CONF="/opt/app/CDH_client/etc/hive-conf/"

export YARN_CONF_DIR="/opt/app/CDH_client/etc/hive-conf"

export CDH_MR2_HOME=$HADOOP_HOME/lib/hadoop-mapreduce

export PATH=${JAVA_HOME}/bin:${HADOOP_CONF_DIR}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:${HCAT_HOME}/bin:${PATH}

注释:为了减少侵入性,也可以将此环境变量添加到一个普通文件,每次登陆时手动source一下就行

5、连通性验证

a.验证HDFS

hadoop fs ls / #如果可以列出目录,证明HDFS客户端配置成功;

b.验证HIVE

beeline -u "jdbc:hive2://CDH01:10000/default;principal=kylin/slave4@MCITP.COM" #如果是基于kerberos登录,使用这种方式;

beeline -u "jdbc:hive2://CDH01:10000/default" #如果是基本认证登录,则采用这种方式

show databases;#如果可以进入beeline命令行模式,而且可以显示默认数据库defaul,证明beeline客户端配置成功。

c.验证HBASE

hbase shell

list #如果可以进入hbase shell,并且可以列出hbase中的表名,证明hbase客户端配置成功。

6、sqoop客户端安装

2.png 


相关文章

stress压测工具

1、stress 概述stress是一个linux的压力测试工具,主要用来模拟系统负载较高时的场景,用于对系统的CPU、IO、内存、负载、磁盘等进行压力测试2、安装yum install -y epe...

HDP部署Tez UI

首先部署tomcat在官网下载apache-tomcat-9.0.22.tar.gz[root@hdp02 opt]# wget https://archive.apache.org/dist/tom...

hbase迁移目录说明

路径(1.0.0)路径(0.94)是否迁移说明/hbase/WALs/hbase/.logs否被HLog实例管理的WAL文件。 ### /hbase/WALs/data-hbase.com,60020...

Golang new and make

Go  语言中 new 方法和 make 方法,都是用于分配相应类型内存空间。1、makemake 内置函数分配并初始化(仅)slice、map 或 chan 类型的对象,返回值是所创建的类型本身。与...

Apache hive 对接达梦数据库FQA

Apache hive 对接达梦数据库FQA

对接中遇到的问题问题1解决办法定义dm_svc.confIME_ZONE=(480) LANGUAGE=(cn) HIVE=(172.16.104.165:5236) [HIVE] KEYWO...

ranger审计日志对接CDH solr

ranger审计日志对接CDH solr

一、准备条件1、已安装完毕ranger-admin2、已在CDH上部署solr(注意在安装solr时更改下solr在zk上的节点信息)二、更改相关配置1、修改ranger-2.1.0-admin/co...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。