企业级大数据安全架构(三)

楼高2年前技术文章669

一、Ambair修改集群节点hostname

在后面安装FreeIPA,需要机器名带全域名,如果我们之前集群节点机器名不是全域名可以按照下面方法在Ambari上修改所有节点机器名

1.部署节点说明

本次测试是三台 ambari 节点,主机名分别是 jz001jz002,jz003 

其中 ambari-server 安装在 jz001 上;ambari-agent 台均有安装。

2.禁用 Kerberos

需要在修改主机名之前,禁用掉 Kerberos。如果没开启 Kerberos 的话,可以省略该步骤

3.备份数据库

ambari 元数据信息保存在 mysql 中,数据库中的 hosts 表会存储着所有的主机信息,所以先备份一下元数据,以便必要时候回滚。

4.Ambari上面所有组件服务停止

ambari上面停止所有组件服务,例如hdfs、yarn等等

5.停止 ambari-server/agent

停止 ambari-server 进程所有节点上的 ambari-agent 进程。ambari-server stop/ambari-agent stop

6.修改/etc/hosts

将修改后的主机名写入每个集群节点的/etc/hosts文件.

7.测试免密是否可用

主要测试ambari-server节点与ambari-agent 节点的免密是否有效

8.创建用于修改主机名的 json 文件

vim hostnames.json

{"hdp":{"jz001":"jz001.hdp.hadoop","jz002":"jz002.hdp.hadoop","jz003":"jz003hdp.hadoop"}}

hdp: ambari 创建 hdp 的集群名,可通过在Ambari页面的右上角admin用户下拉框的Manage Ambari进去,查看Cluster Information

key是旧主机名,value 是新主机名

9.修改 ambari-server 配置文件

如果mysql 所在的主机名已被修改,那么就改一下 ambari-server 的配置文件。否则,这步略过

编辑 /etc/ambari-server/conf/ambari.properties ,修改 mysql 连接的主机名信息。

10.执行更新主机名命令

ambari-server update-host-names hostnames.json

在修改主机名的过程中,可以实时查看 ambari-server 的日志:

tail -f /var/log/ambari-server/ambari-server.log 

image.png

11.修改 yum 离线 repo 源

如果yum 离线 repo 源是指定ip,那么,这一步也可以略过。如果用的主机名配置,要修改成新主机名。

进入 /etc/yum.repos.d 目录,将 repo 文件中的旧主机名替换成新的。

比如:修改 ambari-hdp-1.repo 文件中的主机名。

12.修改 ambari-agent 配置

如果是修改的 ambari-server 的主机名,那么就得修改 ambari-agent 配置。否则,这步可以省略。

vi /etc/ambari-agent/conf/ambari-agent.ini

注意:每个 ambari-agent 节点的这个配置文件都要修改。

13.修改 ambari 的 hdp 下载源链接

该步骤和第九步是一个道理。都是修改 hdp 相关的 yum 离线源链接。如果你的 yum 离线 repo 源是指定的 ip,那么,这一步也可以略过。

Ambari界面右上角点击用户 -> 选择 Manage Ambari -> Versions -> HDP-3.1.0.0,进入如下图所示修改保存:

image.png

14.检查服务的配置,查看主机名是否已自动修改

完成以上步骤之后查看,服务中涉及主机名的部分,已自动替换为新主机名

15.验证 yum install 是否正常

完成上面步骤之后如果修改了 repo 文件的主机名,那么需要验证一下或者直接通过 ambari 界面向导来安装某服务测试一下,或者直接在 shell 里面执行,yum install xxx,安装个东西测试一下,测试是否可以正常安装组件

16.启动所有服务

ambari上面启动所有组件服务,查看服务状态是否正常启动,服务功能是否正常

17.启动 Kerberos

如果之前开启了Kerberos,在修改完之后也启用 Kerberos,确保已生成了包含新主机名的新 keytab ,如果之前未开启keytab,可以省略该步骤


标签: 大数据安全

相关文章

企业级大数据安全架构(一)

前言1.企业级大数据平台安全隐患目前企业级大数据平台面临的一些安全隐患,只要将这些安全隐患全部解决之后才可以部署到生产环境去使用,因此安全性是大数据平台必备的能力之一。1.1缺乏统一的访问控制机制大数...

企业级大数据安全架构(六)

企业级大数据安全架构(六)

本节详细介绍企业级大数据架构中的第六部分,数据授权和审计管理1.Ranger简介Apache Ranger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架,为Hadoop生态系统...

企业级大数据安全架构(五)

企业级大数据安全架构(五)

本章节介绍安全架构里面一个重要组件Knox安装,我们是通过ambari安装,如果安装开源Knox可参考官网文档1 ambari页面add service2勾选Knox安装点击NEXT3选择安装knox...

企业级大数据安全架构(八)

企业级大数据安全架构(八)

前面第七章详细介绍了部署FreeIPA来做kerberos认证,这节接着介绍FreeIPA高可用部署1.FreeIPA高可用配置说明:在安装完一台ipa-server之后,在另一个备份节点部署ipa-...

企业级大数据安全架构(十一)

企业级大数据安全架构(十一)

一、Kerberos接入dophinscheduler建议将dophinscheduler集成到Ambari安装部署,在Ambari上面开启kerberos1.安装准备编译从GitHub获取dolph...

企业级大数据安全架构(四)

企业级大数据安全架构(四)

Ranger是支持审计功能的,安装时可以选择审计数据保存的位置,默认支持Solr和HDFS。HDFS的配置比较简单,这里就不赘述了,我们这里使用Ambari默认自带的Solr保存审计日志,下面部署So...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。