Alluxio部署

恩慈2年前技术文章973


安装前准备

1.1. 添加环境变量

vi /etc/profile

 

export ALLUXIO_HOME=/opt/alluxio

export PATH=$PATH:$ALLUXIO_HOME/bin

 

source /etc/profile

1.2. 创建用户和用户组

groupadd alluxio

useradd alluxio -s /bin/bash -m -g hadoop

usermod -aG hadoop alluxio

 

安装alluxio

1.3. 解压安装包

tar -zxf alluxio-2.9.3-bin.tar.gz -C /opt

ln -s /opt/alluxio-2.9.3 /opt/alluxio

1.4. 复制文件并修改

复制到其他目录

scp -rp /opt/alluxio-2.9.3 172.16.38.11:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.12:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.221:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.222:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.223:/opt

 

 

其他节点都要做

ln -s /opt/alluxio-2.9.3 /opt/alluxio

 

修改alluxio-site.properties

vi /opt/alluxio/conf/alluxio-site.properties

 

将alluxio.master.hostname值改为本地主机名

1.5. 创建并修改权限

mkdir -p /log/alluxio

 

cp /opt/hadoop-3.2.4/etc/hadoop/core-site.xml /opt/hadoop-3.2.4/etc/hadoop/hdfs-site.xml /opt/alluxio/conf/

 

chown -R alluxio:alluxio /opt/alluxio/ /log/alluxio

chmod 755 /opt/alluxio/ /log/alluxio

配置alluxio

1.6. 增加alluxio-env.sh

vi /opt/alluxio/conf/alluxio-env.sh

 

内容如下:

export JAVA_HOME=/opt/jdk1.8

export PATH=$JAVA_HOME/bin:$PATH

export.UTF-8

1.7. 增加alluxio-site.properties

vi /opt/alluxio/conf/alluxio-site.properties

 

内容如下:

alluxio.master.hostname=DPS2-DA-qas3

alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration=/opt/alluxio/conf/core-site.xml:/opt/alluxio/conf/hdfs-site.xml

alluxio.master.mount.table.root.ufs=hdfs://mycluster/

 

alluxio.master.journal.type=EMBEDDED

alluxio.master.embedded.journal.addresses=DPS2-DA-qas3:19200,DPS2-DA-qas4:19200,DPS2-DA-qas5:19200

 

alluxio.master.nameservices.my-alluxio-cluster=master1,master2,master3

alluxio.master.rpc.address.my-alluxio-cluster.master1=DPS2-DA-qas3:19999

alluxio.master.rpc.address.my-alluxio-cluster.master2=DPS2-DA-qas4:19999

alluxio.master.rpc.address.my-alluxio-cluster.master3=DPS2-DA-qas5:19999

 

alluxio.master.security.impersonation.spark.users=*

alluxio.master.security.impersonation.flink.users=*

alluxio.master.security.impersonation.trino.users=*

alluxio.master.security.impersonation.hive.users=*

alluxio.master.security.impersonation.yarn.users=*

alluxio.master.security.impersonation.alluxio.users=*

alluxio.security.authentication.type=SIMPLE

alluxio.master.security.impersonation.client.groups=*

alluxio.user.short.circuit.enabled=true

#alluxio.security.authentication.type=NOSASL

alluxio.security.authorization.permission.enabled=false

#alluxio.security.login.impersonation.username=none

1.8. 配置masters

vi /opt/alluxio/conf/masters

 

内容如下:

DPS2-DA-qas3

DPS2-DA-qas4

DPS2-DA-qas5

1.9. 配置workers

vi /opt/alluxio/conf/workers

内容如下:

cv-dsyhdfs01

cv-dsyhdfs02

cv-dsyhdfs03

 

1.10. 修改alluxio-config.sh

vi /opt/alluxio/libexec/alluxio-config.sh

将ALLUXIO_LOGS_DIR="${ALLUXIO_LOGS_DIR:-${ALLUXIO_HOME}/logs}"改为

ALLUXIO_LOGS_DIR="/log/alluxio"

启动服务

su - alluxio

cd /opt/alluxio

 

格式化

./bin/alluxio formatMaster

 

启动

./bin/alluxio-start.sh all SudoMount

 

 


相关文章

MySQL运维实战(2)MySQL用户和权限管理

MySQL用户管理基本命令创建用户使用create user命令创建用户create user 'username'@'host' ide...

HBase 的 BulkLoad 机制

HBase 的 BulkLoad 机制

1.概述在实际生产环境中,有这样一种场景:用户数据位于HDFS中,业务需要定期将这部分海量数据导入 HBase 系统,以执行随机查询更新操作。这种场景如果调用写入 API 进行处理,极有可能会给 Re...

Kubernetes 认证授权

Kubernetes 认证授权

1、认证所有 Kubernetes 集群都有两类用户:由 Kubernetes 管理的服务账号和普通用户。任何客户端访问之前,经由 kubernetes 时,需经过:认证(token, ssl)、授权...

ES模糊查询(Wildcard Query)导致CPU打满问题

ES模糊查询(Wildcard Query)导致CPU打满问题

一、概述    Wildcard Query是es中实现模糊查询的一种方式,尤其对有SQL经验的人,会常常习惯于它,毕竟这是和SQL里like操作最相似的查询方式,最近一个客户的es集群就在这上面踩了...

MySQL Group Replication(二)监控篇

MySQL Group Replication(二)监控篇

说明组复制搭建成功后,为保证其正常运行,用户需要对组复制进行监控。MySQL 的 performance_schema 库中提供一些表,用于监控组复制的复制过程。[performance_schema...

Linux 文件锁

1、背景Linux 系统定时任务正在执行时,可能会遇到上个周期的任务还没有执行完,这样便会造成相同的任务同一时间有过个任务进程在执行。如果任务有对互斥资源操作时,有可能产生死锁。2、用法参考flock...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。