CDP实操--集群扩容

九月2年前技术文章930


一、前提准备工作

1.确保OS的yum源可以正常使用,通过yum repolist命令可以查看到匹配的OS的所有包

2.确保Cloudera Manager的yum源运行正常

3.hosts文件配置,需要将Gateway节点的IP和hostname加入到CDH集群节点的hosts文件中,并同步到所有机器包括Gateway节点

机房a节点host配置

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.60.1.1 cdp01
10.60.1.2 cdp02
10.60.1.3 cdp03

#10.60.1.1 cdp01
#10.188.0.2 cdp02
#10.188.0.3 cdp03
10.168.54.100 cdp04
10.168.54.101 cdp05

##
10.168.52.121 kafka1
10.168.52.122 kafka2
10.168.52.123 kafka3

机房b节点host配置

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
#10.60.1.1 cdp01
#10.60.1.2 cdp02
#10.60.1.3 cdp03

10.188.0.1 cdp01
10.188.0.2 cdp02
10.188.0.3 cdp03
10.168.54.100 cdp04
10.168.54.101 cdp05

##
10.168.52.121 kafka1
10.168.52.122 kafka2
10.168.52.123 kafka3

4.禁用SELinux

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config 
setenforce 0

5.关闭防火墙

systemctl stop firewalld
systemctl status firewalld

6、设置swap内存配置

echo "vm.swappiness = 1" >> /etc/sysctl.conf 
sysctl -p

7、关闭透明大页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

8、配置时钟同步

yum -y install chrony

调整配置文件/etc/chrony.conf

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ntp1.aliyun.com iburst

# Record the rate at which the system clock gains/losses time.
driftfile /var/lib/chrony/drift

# Allow the system clock to be stepped in the first three updates
# if its offset is larger than 1 second.
makestep 1.0 3

# Enable kernel synchronization of the real-time clock (RTC).
rtcsync

# Enable hardware timestamping on all interfaces that support it.
#hwtimestamp *

# Increase the minimum number of selectable sources required to adjust
# the system clock.
#minsources 2

# Allow NTP client access from local network.
#allow 192.168.0.0/16

# Serve time even if not synchronized to a time source.
#local stratum 10

# Specify file containing keys for NTP authentication.
#keyfile /etc/chrony.keys

# Specify directory for log files.
logdir /var/log/chrony

# Select which information is logged.
#log measurements statistics tracking

重启服务

 systemctl restart chronyd

验证时钟是否同步

chronyc sources -v

图1.png

9、为待上线节点安装Kerberos客户端并配置krb5.conf文件

yum -y install krb5-libs krb5-workstation openldap-client

调整配置文件/etc/krb5.conf为

[libdefaults]
default_realm = HADOOP.NBGTEST.LOCAL
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 86400
renew_lifetime = 604800
forwardable = true
default_tgs_enctypes = rc4-hmac aes256-cts
default_tkt_enctypes = rc4-hmac aes256-cts
permitted_enctypes = rc4-hmac aes256-cts
udp_preference_limit = 1
kdc_timeout = 3000
[realms]
HADOOP.NBGTEST.LOCAL = {
kdc = cdp02
admin_server = cdp02
}
[domain_realm]

10、安装jdk

二、页面增加节点

1、所有主机页面增加新节点

2、选择存储库

图4.png

3、安装jdk

由于前置准备中已经安装,所以选Manually manage JDK,然后继续

图5.png

4、提供ssh登录凭证

由于两个机房密码不一致,所以选私钥方式,将cdp01节点的私钥进行上传

图6.png

5、install agents

图7.png

6、install parcels

图8.png

7、检查主机正确性

忽略继续

图9.png

8、命令详细信息

图10.png

9、选择主机模版

由于cdp04新增节点中已经添加数据组件的角色,cdp05节点暂不设置组件

图11.png

10、命令详细信息

图12.png

11、查看主机情况

图13.png



标签: 大数据运维

相关文章

CDH实操--hive高可用

CDH实操--hive高可用

前言在CDH中,hive metastore、hiveserver2若角色单实例部署,或者部署多个实例但是连接配置任选其一的话,均存在单点问题,一旦实例故障就会影响业务稳定;这时我们就好考虑高可用部署...

EMR-java配置国密SM4加密

EMR-java配置国密SM4加密

首先找到bcprov-jdk15on-1.56.jar这个包<dependency>    <groupId>org.bouncycastle</groupId> ...

HDFS Fsimage分析磁盘目录(文件级别)

HDFS Fsimage分析磁盘目录(文件级别)

首先获取fsimage信息hdfs dfsadmin -fetchImage  /opt/fsimage格式化fsimage 转换为可读文本hdfs oiv -i /opt/fsimage/fsima...

ES运维(一)底层数据存储原理

ES运维(一)底层数据存储原理

1、ES底层数据存储原理架构图Segment工作流程:A、 新的文档在内存中组织B、 每隔一段时间,buffer将会被提交:生成一个新的segment(一个额外的新的倒序索引)并被写到磁盘,同时一个新...

正式发布 | 《云运维服务白皮书》开放下载!

正式发布 | 《云运维服务白皮书》开放下载!

在全球数字化变革的背景下,为适应数字经济环境下企业生存发展和市场变化的需要,企业进行主动的、系统性、整体性的数字化转型升级。大数据、云计算、人工智能、区块链等新一代信息通信技术为企业的数字化转型提供了...

ES运维(六)_segment合并使用原理及场景

ES运维(六)_segment合并使用原理及场景

一、背景简介ES中,每个index(索引)都包含若干个Shard(分片),每个分片底层又是一个个Segment文件(段),每次数据的读写底层就是与一个个段文件的交互,因此ES调优常用的一块就是对段文件...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。