Trino部署

恩慈11个月前技术文章526

安装前准备

1.1. 创建用户和用户组

groupadd trino

useradd -g hadoop trino

1.2. 配置环境变量

1.2.1. 配置系统环境变量

/etc/profile

export TRINO_HOME=/opt/trino

export PATH=$PATH:$TRINO_HOME/bin

source /etc/profile

1.2.2. 配置trino用户环境变量

su - trino

 

vim ~/.bash_profile

export JAVA_HOME=/opt/jdk-17.0.9+9

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar

 

export TRINO_HOME=/opt/trino

export PATH=$TRINO_HOME/bin:$PATH

source ~/.bashrc

安装trino

1.1. 解压trino安装包

tar -xzvf trino-server-416.tar.gz -C /opt

ln -s /opt/trino-server-416 /opt/trino

1.2. 复制文件

cp /opt/alluxio/conf/alluxio-site.properties /opt/trino/etc/

 

将文件分发到其他节点

scp -rp /opt/alluxio cv-dsyhdfs01:/opt

配置trino

1.1. 创建目录

su - trino

mkdir -p /opt/trino/etc/catalog

cd /opt/trino/

mkdir -p /data/trino/var

 

 

1.2. 配置jvm.config

-server

-Xmx1G

-XX:-UseBiasedLocking

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+ExplicitGCInvokesConcurrent

-XX:+ExitOnOutOfMemoryError

-XX:+HeapDumpOnOutOfMemoryError

-XX:-OmitStackTraceInFastThrow

-XX:ReservedCodeCacheSize=64M

-XX:PerMethodRecompilationCutoff=10000

-XX:PerBytecodeRecompilationCutoff=10000

-Djdk.attach.allowAttachSelf=true

#-Xbootclasspath/a:/opt/trino/etc/alluxio-site.properties

-Djdk.nio.maxCachedBufferSize=2000000

1.3. 配置config.properties

coordinator节点配置

vim /opt/trino/etc/config.properties

内容如下:

 

# 该节点是否作为coordinator

coordinator=true

# coordinator是否同时作为worker节点

node-scheduler.include-coordinator=true

# http连接端口

http-server.http.port=8550

# 所有节点查询可以使用的最大内存和

query.max-memory=3GB

# 单个节点查询可以使用的最大用户内存

query.max-memory-per-node=512MB

# 服务发现的地址

discovery.uri=http://xxx.xxx.xxx.xxx:8550

 

1.4. 配置node.properties

vim /opt/trino/etc/node.properties

# 集群所有节点环境名称必须一样

node.environment=trino_cluster

# UUID, 36个16进制数字, 每个节点的都不一样, 默认随机生成, 设置固定值在集群升级时可以保持和原来的一致

node.id=a49c04c9-6642-11ec-acff-30d042079a38

# 日志文件和数据文件储存目录

node.data-dir=/data/trino/var

1.5. 修改权限

chmod trino:trino /opt/trino/

1.6. 安装jdk

解压jdk

jdk-17.0.9+9

 

启动trino

su - trino

/opt/trino/bin/launcher start

ss -tunlp | grep 8550

 


相关文章

HDFS核心参数

HDFS核心参数

1.NameNode内存生产配置(1)NameNode内存计算,每个文件块大概占用150byte,一台服务器128G内存为例,能存储9.1亿个文件128 * 1024 * 1024 * 1024  /...

压测实操--kafka-consumer压测方案

压测实操--kafka-consumer压测方案

环境信息:操作系统centos7.9,kafka版本为hdp集群中的2.0版本。Consumer相关参数使用Kafka自带的kafka-consumer-perf-test.sh脚本进行压测,该脚本参...

k8s删除Terminating状态的命名空间

问题描述Kubernetes中namespace有两种常见的状态,即Active和Terminating状态,其中Terminating状态一般会比较少见,当对应的命名空间下还存在运行的资源,但该命名...

开源大数据集群部署(十二)Ranger 集成 hive

开源大数据集群部署(十二)Ranger 集成 hive

1、解压安装在hd1.dtstack.com主机上执行(一般选择hiveserver2节点)Ø 解压ranger-2.3.0-hive-plugin.tar.gz[root@hd1.dtstack.c...

flink获取taskmanager的pstree信息

flink获取taskmanager的pstree信息

使用pstree –p 进程号 的方式能够获取taskmanager的pstree信息,这个地方提供一个收集脚本。内容如下:#!/bin/bashsearchPID() {   l...

ES运维(四)扩容方式迁移

ES运维(四)扩容方式迁移

1 迁移概述本次模拟es在线迁移方式:集群扩容-->数据迁移-->老节点下线-->服务重启刷新配置。 中间master替换的时候会有短暂的不可用。 另外业务测需注意:老节点下线前...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。