开源大数据集群部署(二十)Trino部署

櫰木2年前技术文章1621

2.9.1 解压trino的包到opt目录

cd /root/bigdata
tar -xzvf trino-server-389.tar.gz -C /opt/
ln -s /opt/trino-server-389 /opt/trino


2.9.2 创建trino用户,并配置专属jdk11

useradd trino
su – trino
chown -R trino:hadoop /opt/trino-server-389


每台节点生成keytab文件

bash /data/kerberos/getkeytabs.sh /etc/security/keytab/trino.keytab trino


添加环境变量

su - trino
 
vim ~/.bashrc
export JAVA_HOME=/opt/zulu11.60.19-ca-jdk11.0.17-linux_x64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
 
export TRINO_HOME=/opt/trino
export PATH=$TRINO_HOME/bin:$PATH
source ~/.bashrc
验证java版本


图片15.png 

2.9.3 定义配置文件

cd /opt/trino/etc

jvm配置

vim jvm.config
-server
-Xmx4G
-XX:InitialRAMPercentage=80
-XX:MaxRAMPercentage=80
-XX:G1HeapRegionSize=32M
-XX:+ExplicitGCInvokesConcurrent
-XX:+ExitOnOutOfMemoryError
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow
-XX:ReservedCodeCacheSize=512M
-XX:PerMethodRecompilationCutoff=10000
-XX:PerBytecodeRecompilationCutoff=10000
-Djdk.attach.allowAttachSelf=true
-Djdk.nio.maxCachedBufferSize=2000000
-XX:+UnlockDiagnosticVMOptions
-XX:+UseAESCTRIntrinsics
-Dsun.security.krb5.debug=true
-Dlog.enable-console=true
-Dlogback.configurationFile=/opt/trino/etc/trino-ranger-plugin-logback.xml
-javaagent:/opt/prometheus/jmx_prometheus_javaagent-0.12.0.jar=9550:/opt/prometheus/trino-prometheus.yml


Coordinator config配置

cat config.properties
# 该节点是否作为coordinator
coordinator=true
# coordinator是否同时作为worker节点
node-scheduler.include-coordinator=false
# http连接端口
http-server.http.port=18080
# 所有节点查询可以使用的最大内存和
query.max-memory=3GB
# 单个节点查询可以使用的最大用户内存
query.max-memory-per-node=1024MB
# 服务发现的地址
discovery.uri=http://hd1.dtstack.com:18080


work节点config配置

# 该节点是否作为coordinator
coordinator=false
# http连接端口
http-server.http.port=18080
# 所有节点查询可以使用的最大内存和
query.max-memory=4GB
# 单个节点查询可以使用的最大用户内存
query.max-memory-per-node=1024MB
# 服务发现的地址
discovery.uri=http://hd1.dtstack.com:18080


节点配置node.properties

cat node.properties
# 集群所有节点环境名称必须一样
node.environment=trino_cluster
# UUID, 36个16进制数字, 每个节点的都不一样, 默认随机生成, 设置固定值在集群升级时可以保持和原来的一致
node.id=9df13f5a-eae8-4e55-9ad6-9dc5f86eb74c
# 日志文件和数据文件储存目录
node.data-dir=/data/trino-server/var


 

Ø uuid生成方式可以通过uuidgen命令进行生成。

Ø 创建数据目录 mkdir -p /data/trino-server/var

2.9.3 启动应用

/opt/trino/bin/launcher start


查看端口是否启动成功

ss -tunlp | grep 18080


图片16.png 

查看web页面

图片17.png 

 

 

 

 

2.9.4 对接hive

每个节点都需要配置

mkdir -p /opt/trino/etc/catalog
cat hive.properties
connector.name=hive
hive.metastore.uri=thrift://hd1.dtstack.com:9083
hive.config.resources=/opt/hadoop/etc/hadoop/core-site.xml,/opt/hadoop/etc/hadoop/hdfs-site.xml
hive.metastore.authentication.type=kerberos
hive.metastore.thrift.impersonation.enabled=false
hive.metastore.service.principal=hive/hd1.dtstack.com@DTSTACK.COM
hive.metastore.client.principal=hive/hd1.dtstack.com@DTSTACK.COM
hive.metastore.client.keytab=/etc/security/keytab/hive.keytab
hive.hdfs.authentication.type=KERBEROS
hive.hdfs.impersonation.enabled=false
hive.hdfs.trino.principal=trino/_HOST@DTSTACK.COM
hive.hdfs.trino.keytab=/etc/security/keytab/trino.keytab

2.9.5 运行测试

trino-cli需要手动去官网下载。

trino-cli --server hd1.dtstack.com:18080 --catalog=hive --schema=test


相关文章

iotop-监控磁盘I/O

iotop-监控磁盘I/O

iotop概述iotop 是一个类似 top 的工具,用来显示实时的磁盘活动。Linux下的IO统计工具如iostat,nmon等大多数是只能统计到per设备的读写情况。iotop 监控 Linux...

ubuntu安装mysql

执行sudo apt install mysql-server启动mysqlsudo systemctl start mysql查看状态sudo systemctl status mysql查看默认密...

Linux SSSD同步大量AD用户缓慢

Linux SSSD同步大量AD用户缓慢

1、背景在使用AD + sssd (ad作为ldap)同步用户,其中AD中存在10000+ 用户,同步时,用户信息获取缓慢,导致cdh的namenode 的rpc 队列打高,服务不正常。id 用户达到...

MySQL 同步方式

同步方式一、分类同步大致为异步、半同步、增强版同步、全同步;二、详情1.异步复制MySQL 默认的复制策略,Master处理事务过程中,将其写入Binlog就会通知Dump thread线程处理,然后...

借助cwRsync工具迁移

借助cwRsync工具迁移

服务端安装服务端软件如下,会自动在系统内创建一个系统用户,用户名为:xxx  ,密码为:xxx查看系统用户,会发现自动创建了如下用户:修改配置文件:rsyncd.confuse chroot = fa...

MySQL运维实战之备份和恢复(8.7)将数据库恢复到指定时间点的另外一种方法

使用mysql原生复制功能实现时间点恢复使用mysqlbinlog解析并执行binlog是实现mysql时间点恢复的一种常用的方法。这里提供另外一种实现时间点恢复的方法:使用mysql的复制功能来实现...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。