Alluxio 部署

櫰木1年前技术文章374

1、基础环境准备

配置java环境变量

tar -xzvf jdk-8u281-linux-x64.tar.gz -C /opt
ln -s /opt/jdk1.8.0_281 /opt/java
cat /etc/profile
export JAVA_HOME="/opt/java"
export PATH=$JAVA_HOME/bin:$PATH

配置alluxio 环境变量

tar -xzvf alluxio-2.8.1-bin.tar.gz -C /opt/
ln -s /opt/alluxio-2.8.1 /opt/alluxio
cat /etc/profile
export ALLUXIO_HOME=/opt/alluxio
export PATH=$ALLUXIO_HOME/bin:$JAVA_HOME/bin:$PATH

修改系统参数

cat /etc/security/limits.conf
#在最后添加以下内同
*                soft    nofile          65536
*                hard    nofile          65536
*                soft    nproc           4096
*                hard    nproc           4096

ssh免密

每个节点进行ssh免密

2、Alluxio配置修改

参考文档:https://docs.alluxio.io/os/user/stable/en/deploy/Running-Alluxio-On-a-HA-Cluster.html

修改alluxio-site.properties 文件

cd /opt/alluxio/conf
cp alluxio-site.properties.template alluxio-site.properties
#修改配置参数
cat alluxio-site.properties
#######
alluxio.master.hostname=hd1.dtstack.com  #每个节点的主机名
alluxio.master.journal.type=EMBEDDED     #使用内置的
alluxio.master.embedded.journal.addresses=hd1.dtstack.com:19200,hd2.dtstack.com:19200,hd3.dtstack.com:19200
alluxio.security.authorization.permission.enabled=true
alluxio.security.authentication.type=SIMPLE
###集成hdfs
alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration=/opt/hadoop/etc/hadoop/core-site.xml:/opt/hadoop/etc/hadoop/hdfs-site.xml
alluxio.master.mount.table.root.ufs=hdfs://mycluster/
alluxio.master.keytab.file=/etc/security/keytab/hdfs.keytab
alluxio.master.principal=hdfs/hd1.dtstack.com@DTSTACK.COM   #每个节点的
alluxio.worker.keytab.file=/etc/security/keytab/hdfs.keytab
alluxio.worker.principal=hdfs/hd1.dtstack.com@DTSTACK.COM    #每个节点的
alluxio.hadoop.security.kerberos.keytab.login.autorenewal=true

添加works节点

cat workers
hd1.dtstack.com
hd2.dtstack.com
hd3.dtstack.com

添加master节点

cat masters 
hd1.dtstack.com
hd2.dtstack.com
hd3.dtstack.com

3、初始化alluxio

将安装包及配置分发到其他节点。并更改对应主机名的配置

在第一次启动之前,需要初始化Alluxio master journal 和 worker storage。

格式化将删除alluxio配置的目录中的所有数据

./bin/alluxio format

启动alluxio

在其中一个主节点中,使用以下命令启动 Alluxio 集群:

./bin/alluxio-start.sh all SudoMount

4、验证Alluxio集群

要验证 Alluxio 是否正在运行,可以访问 leading master 的 web UI

./bin/alluxio fs masterInfo

yan1.png

然后访问访问http://<LEADER_HOSTNAME>:19999

yan2.png

执行自带的程序简单测试Alluxio集群

./bin/alluxio runTests

yan3.png

5、使用Alluxio

访问对应信息

./bin/alluxio fs ls  /user

yan4.png


相关文章

Hudi集成Spark

Hudi集成Spark

环境准备安装Spark1)Hudi支持的Spark版本HudiSupported Spark 3 version0.12.x3.3.x,3.2.x,3.1.x0.11.x3.2.x(default b...

Python functools 模块

1、reduce 方法reduce 方法,顾名思义就是减少,map reduce 应用:大数据语法: reduce(function, sequence[, initial]) -> value...

开源大数据集群部署(十八)Hive 安装部署

开源大数据集群部署(十八)Hive 安装部署

2.7.1创建hive Kerberos主体bash /root/bigdata/getkeytabs.sh /etc/security/keytab/hive.keytab hive2.7.2 安装...

clickhouse对接集群hdfs(二)

clickhouse对接集群hdfs(二)

前提:集群中已经部署了hadoop集群和clickhouse集群,clickhouse集群进行对接hdfs1、调整配置文件将集群中的hdfs-site.xml文件同步到ck集群节点的/etc/clic...

PG的pathman分区表工具

一、概述在PG<=10的版本中,都是通过表继承的方式进行分区的,必须使用CHECK CONSTRAINT将每个分区创建为子表 。PostgreSQL 10提供了本机分区,它与经典方法没有什么不同...

MySQL主从复制配置

一、master服务器配置1)用户添加及授权在master 服务器授权一个账户,拥有slave权限12mysql> GRANT REPLICATION SLAVE,REPLICATION CLI...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。