企业级大数据安全架构(十一)

楼高1年前技术文章353

一、Kerberos接dophinscheduler

建议将dophinscheduler集成到Ambari安装部署,在Ambari上面开启kerberos

1.安装准备

编译

GitHub获取dolphinscheduler-1.3.9源码

git clone https://github.com/apache/dolphinscheduler.git -b 1.3.9-release

https://github.com/apache/dolphinscheduler/archive/2.0.3.zip

进入源码目录进行编译

mvn -U clean install -Prpmbuild -Dmaven.test.skip=true -X

编译完成后在dolphinscheduler-dist/target/rpm/apache-dolphinscheduler/RPMS/noarch路径下可以找到打包好的rpm

将编译好的包发送到其他节点

注意:nodejs版本不要太低,不然编译过程不容易通过,另外npm尽量不要使用淘宝镜像

2.环境准备

2.1创建部署用户

选择需要部署dolphinscheduler的机器创建系统用户dolphinscheduler

创建部署用户,并且一定要配置sudo免密。以创建dolphinscheduler用户为例

useradd dolphinscheduler;

echo "dolphinscheduler" | passwd --stdin dolphinscheduler

 

# 配置sudo免密

echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers

sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

 

# 修改目录权限,使得部署用户对dolphinscheduler-backend目录有操作权限  

chown -R dolphinscheduler:dolphinscheduler dolphinscheduler

2.2在部署用户并配置 ssh 本机免密登录

su dolphinscheduler;

 

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

 

2.3 其他待部署的机器配置ssh免密

su dolphinscheduler;

for ip in db003.hdp.com db004.hdp.com;  

do

  ssh-copy-id  $ip # 该操作执行过程中需要手动输入 dolphinscheduler 用户的密码

done

2.4数据库初始化

1)登陆数据库:mysql -uroot -phdp123456

2)创建数据库并设置相应权限

CREATE DATABASE dolphinscheduler;

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'hdp123456';

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'hdp123456';

GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'current_hostname' IDENTIFIED BY 'hdp123456';

FLUSH PRIVILEGES;

 

2.5选择需要部署dolphinscheduler的机器进行rpm安装

 

执行安装命令rpm -ivh apache-dolphinscheduler-1.3.10-1.noarch.rpm

安装完成后将mysql驱动包放到dolphinscheduler/lib目录下

2.6配置调度所执行任务的必要环境

修改dolphinscheduler目录conf下的dolphinscheduler_env.sh 环境变量

export HADOOP_HOME=/usr/hdp/3.1.0.0-78/hadoop

export HADOOP_CONF_DIR=/usr/hdp/3.1.0.0-78/hadoop/etc/hadoop/

export SPARK_HOME2=/usr/hdp/3.1.0.0-78/spark2

export PYTHON_HOME=/opt/soft/python

export JAVA_HOME=/opt/module/jdk1.8.0_281

export HIVE_HOME=/usr/hdp/3.1.0.0-78/hive

export FLINK_HOME=/usr/hdp/3.1.0.0-78/flink

export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$PATH

组件配置路径根据自己安装路径配置,但是jdk必须软链到/usr/bin/java,否则后续安装完成之后启动会报错java命令找不到

ln -s /opt/module/jdk1.8.0_281/bin/java /usr/bin/java

3.Ambari集成dophinscheduler

3.1部署ambari插

#将dolphinscheduler自定义集成配置文件拷贝到ambari-server服务节点的相关目录

cp -r ambari_plugin/common-services/DOLPHIN /var/lib/ambari-server/resources/common-services/

cp -r ambari_plugin/statcks/DOLPHIN  /var/lib/ambari-server/resources/stacks/HDP/3.1/services/

3.2重启ambari-server

ambari server部署节点执行重启命令ambari-server restart

3.3开始安装

1)进入ambari界面,界面左侧 >> services >> Add service >> Dolphin Scheduler >> NEXT >>选择DS Master

image.png 

(2)选择要部署机器

image.png 

3)选择安装组件机器

image.png 

4)配置部署的用户,数据库host用户名密码,hdfs地址

image.png 

image.png 

 image.png

 image.png

 image.png

(4)完成安装登陆

初始化登陆用户名密码是admin/dolphinscheduler123,该用户名密码是在前面初始化的时候sql导入的用户名密码

 image.png

 

(5)登陆界面

image.png 

 


标签: 大数据安全

相关文章

企业级大数据安全架构(八)

企业级大数据安全架构(八)

前面第七章详细介绍了部署FreeIPA来做kerberos认证,这节接着介绍FreeIPA高可用部署1.FreeIPA高可用配置说明:在安装完一台ipa-server之后,在另一个备份节点部署ipa-...

企业级大数据安全架构(一)

前言1.企业级大数据平台安全隐患目前企业级大数据平台面临的一些安全隐患,只要将这些安全隐患全部解决之后才可以部署到生产环境去使用,因此安全性是大数据平台必备的能力之一。1.1缺乏统一的访问控制机制大数...

企业级大数据安全架构(六)

企业级大数据安全架构(六)

本节详细介绍企业级大数据架构中的第六部分,数据授权和审计管理1.Ranger简介Apache Ranger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架,为Hadoop生态系统...

企业级大数据安全架构(五)

企业级大数据安全架构(五)

本章节介绍安全架构里面一个重要组件Knox安装,我们是通过ambari安装,如果安装开源Knox可参考官网文档1 ambari页面add service2勾选Knox安装点击NEXT3选择安装knox...

 企业级大数据安全架构(七)

企业级大数据安全架构(七)

在企业级大数据安全方案中,本节主要介绍服务安全问题,引入kerberos认证机制,目前直接对接kerberos使用较多,这里我们使用FreeIPA来集成kerberosFreeIPA官网下载地址:ht...

企业级大数据安全架构(三)

企业级大数据安全架构(三)

一、Ambair修改集群节点hostname在后面安装FreeIPA,需要机器名带全域名,如果我们之前集群节点机器名不是全域名可以按照下面方法在Ambari上修改所有节点机器名1.部署节点说明本次测试...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。