Alluxio部署

恩慈1年前技术文章592


安装前准备

1.1. 添加环境变量

vi /etc/profile

 

export ALLUXIO_HOME=/opt/alluxio

export PATH=$PATH:$ALLUXIO_HOME/bin

 

source /etc/profile

1.2. 创建用户和用户组

groupadd alluxio

useradd alluxio -s /bin/bash -m -g hadoop

usermod -aG hadoop alluxio

 

安装alluxio

1.3. 解压安装包

tar -zxf alluxio-2.9.3-bin.tar.gz -C /opt

ln -s /opt/alluxio-2.9.3 /opt/alluxio

1.4. 复制文件并修改

复制到其他目录

scp -rp /opt/alluxio-2.9.3 172.16.38.11:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.12:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.221:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.222:/opt

scp -rp /opt/alluxio-2.9.3 172.16.38.223:/opt

 

 

其他节点都要做

ln -s /opt/alluxio-2.9.3 /opt/alluxio

 

修改alluxio-site.properties

vi /opt/alluxio/conf/alluxio-site.properties

 

将alluxio.master.hostname值改为本地主机名

1.5. 创建并修改权限

mkdir -p /log/alluxio

 

cp /opt/hadoop-3.2.4/etc/hadoop/core-site.xml /opt/hadoop-3.2.4/etc/hadoop/hdfs-site.xml /opt/alluxio/conf/

 

chown -R alluxio:alluxio /opt/alluxio/ /log/alluxio

chmod 755 /opt/alluxio/ /log/alluxio

配置alluxio

1.6. 增加alluxio-env.sh

vi /opt/alluxio/conf/alluxio-env.sh

 

内容如下:

export JAVA_HOME=/opt/jdk1.8

export PATH=$JAVA_HOME/bin:$PATH

export.UTF-8

1.7. 增加alluxio-site.properties

vi /opt/alluxio/conf/alluxio-site.properties

 

内容如下:

alluxio.master.hostname=DPS2-DA-qas3

alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration=/opt/alluxio/conf/core-site.xml:/opt/alluxio/conf/hdfs-site.xml

alluxio.master.mount.table.root.ufs=hdfs://mycluster/

 

alluxio.master.journal.type=EMBEDDED

alluxio.master.embedded.journal.addresses=DPS2-DA-qas3:19200,DPS2-DA-qas4:19200,DPS2-DA-qas5:19200

 

alluxio.master.nameservices.my-alluxio-cluster=master1,master2,master3

alluxio.master.rpc.address.my-alluxio-cluster.master1=DPS2-DA-qas3:19999

alluxio.master.rpc.address.my-alluxio-cluster.master2=DPS2-DA-qas4:19999

alluxio.master.rpc.address.my-alluxio-cluster.master3=DPS2-DA-qas5:19999

 

alluxio.master.security.impersonation.spark.users=*

alluxio.master.security.impersonation.flink.users=*

alluxio.master.security.impersonation.trino.users=*

alluxio.master.security.impersonation.hive.users=*

alluxio.master.security.impersonation.yarn.users=*

alluxio.master.security.impersonation.alluxio.users=*

alluxio.security.authentication.type=SIMPLE

alluxio.master.security.impersonation.client.groups=*

alluxio.user.short.circuit.enabled=true

#alluxio.security.authentication.type=NOSASL

alluxio.security.authorization.permission.enabled=false

#alluxio.security.login.impersonation.username=none

1.8. 配置masters

vi /opt/alluxio/conf/masters

 

内容如下:

DPS2-DA-qas3

DPS2-DA-qas4

DPS2-DA-qas5

1.9. 配置workers

vi /opt/alluxio/conf/workers

内容如下:

cv-dsyhdfs01

cv-dsyhdfs02

cv-dsyhdfs03

 

1.10. 修改alluxio-config.sh

vi /opt/alluxio/libexec/alluxio-config.sh

将ALLUXIO_LOGS_DIR="${ALLUXIO_LOGS_DIR:-${ALLUXIO_HOME}/logs}"改为

ALLUXIO_LOGS_DIR="/log/alluxio"

启动服务

su - alluxio

cd /opt/alluxio

 

格式化

./bin/alluxio formatMaster

 

启动

./bin/alluxio-start.sh all SudoMount

 

 


相关文章

MySQL 8.0 新特性:Persisted System Variables

MySQL 8.0 新特性:Persisted System Variables

一、前言MySQL 5.7 之前我们修改参数变量后,需要将其手动写入到服务端配置文件中,否则重启后又恢复原有的配置,在 8.0 中可以在 MySQL 客户端直接将参数持久化,节省在服务器操作的步骤,下...

SQL Server优化入门系列(二)—— 等待事件

SQL Server优化入门系列(二)—— 等待事件

在上一篇文章中(SQL Server优化入门系列(一)——快速定位阻塞SQL),我们介绍了如何快速定位SQL Server中当前正在执行的SQL,以及被阻塞的SQL。这里,我们将介绍如何通过等待事件来...

MySQL 复制-有数据环境搭建异步复制

MySQL 复制-有数据环境搭建异步复制

前言本 SOP 介绍的是已有数据的场景下如果部署主从复制,因为是生产环境而且有数据,我们就需要先将主库的数据同步到从库再建立复制关系,还需要根据数据量来选择更适合的备份工具。一、步骤归纳单实例安装:新...

mysql8 rpm安装教程

1:卸载原有REPO源查询已经存在的mysql及相关依赖包rpm -qa | grep mysql此时你会看到一堆列表,使用 yum 命令依次卸载yum remove mysql-xxx-xxx-xx...

8.0 新特性 - Generated Invisible Primary Key

8.0 新特性 - Generated Invisible Primary Key

说明MySQL Innodb 引擎采用的是 IOT(索引组织表)存储方式,主键的重要性就不言而喻。在早期版本用户如果没有显式指定主键,会自动生成隐藏主键 row_id 来组织 B+ 树,隐藏主键 ro...

Linux操作系统之Linux命令的返回值

Linux命令执行后无论成功与否都有一个返回值,如果为 0,则表示命令执行成功,其它值则表示执行错误。具体的错误码含义如下:  "OS error code  1: Operation not per...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。