Alluxio 部署
1、基础环境准备
配置java环境变量
tar -xzvf jdk-8u281-linux-x64.tar.gz -C /opt ln -s /opt/jdk1.8.0_281 /opt/java cat /etc/profile export JAVA_HOME="/opt/java" export PATH=$JAVA_HOME/bin:$PATH
配置alluxio 环境变量
tar -xzvf alluxio-2.8.1-bin.tar.gz -C /opt/ ln -s /opt/alluxio-2.8.1 /opt/alluxio cat /etc/profile export ALLUXIO_HOME=/opt/alluxio export PATH=$ALLUXIO_HOME/bin:$JAVA_HOME/bin:$PATH
修改系统参数
cat /etc/security/limits.conf #在最后添加以下内同 * soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096
ssh免密
每个节点进行ssh免密
2、Alluxio配置修改
参考文档：https://docs.alluxio.io/os/user/stable/en/deploy/Running-Alluxio-On-a-HA-Cluster.html
修改alluxio-site.properties 文件
cd /opt/alluxio/conf cp alluxio-site.properties.template alluxio-site.properties #修改配置参数 cat alluxio-site.properties ####### alluxio.master.hostname=hd1.dtstack.com #每个节点的主机名 alluxio.master.journal.type=EMBEDDED #使用内置的 alluxio.master.embedded.journal.addresses=hd1.dtstack.com:19200,hd2.dtstack.com:19200,hd3.dtstack.com:19200 alluxio.security.authorization.permission.enabled=true alluxio.security.authentication.type=SIMPLE ###集成hdfs alluxio.master.mount.table.root.option.alluxio.underfs.hdfs.configuration=/opt/hadoop/etc/hadoop/core-site.xml:/opt/hadoop/etc/hadoop/hdfs-site.xml alluxio.master.mount.table.root.ufs=hdfs://mycluster/ alluxio.master.keytab.file=/etc/security/keytab/hdfs.keytab alluxio.master.principal=hdfs/hd1.dtstack.com@DTSTACK.COM #每个节点的 alluxio.worker.keytab.file=/etc/security/keytab/hdfs.keytab alluxio.worker.principal=hdfs/hd1.dtstack.com@DTSTACK.COM #每个节点的 alluxio.hadoop.security.kerberos.keytab.login.autorenewal=true
添加works节点
cat workers hd1.dtstack.com hd2.dtstack.com hd3.dtstack.com
添加master节点
cat masters hd1.dtstack.com hd2.dtstack.com hd3.dtstack.com
3、初始化alluxio
将安装包及配置分发到其他节点。并更改对应主机名的配置
在第一次启动之前，需要初始化Alluxio master journal 和 worker storage。
格式化将删除alluxio配置的目录中的所有数据
./bin/alluxio format
启动alluxio
在其中一个主节点中，使用以下命令启动 Alluxio 集群：
./bin/alluxio-start.sh all SudoMount
4、验证Alluxio集群
要验证 Alluxio 是否正在运行，可以访问 leading master 的 web UI
./bin/alluxio fs masterInfo
然后访问访问http://<LEADER_HOSTNAME>:19999
执行自带的程序简单测试Alluxio集群
./bin/alluxio runTests
5、使用Alluxio
访问对应信息
./bin/alluxio fs ls /user
