Trino部署

恩慈2年前技术文章1046

安装前准备

1.1. 创建用户和用户组

groupadd trino

useradd -g hadoop trino

1.2. 配置环境变量

1.2.1. 配置系统环境变量

/etc/profile

export TRINO_HOME=/opt/trino

export PATH=$PATH:$TRINO_HOME/bin

source /etc/profile

1.2.2. 配置trino用户环境变量

su - trino

 

vim ~/.bash_profile

export JAVA_HOME=/opt/jdk-17.0.9+9

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar

 

export TRINO_HOME=/opt/trino

export PATH=$TRINO_HOME/bin:$PATH

source ~/.bashrc

安装trino

1.1. 解压trino安装包

tar -xzvf trino-server-416.tar.gz -C /opt

ln -s /opt/trino-server-416 /opt/trino

1.2. 复制文件

cp /opt/alluxio/conf/alluxio-site.properties /opt/trino/etc/

 

将文件分发到其他节点

scp -rp /opt/alluxio cv-dsyhdfs01:/opt

配置trino

1.1. 创建目录

su - trino

mkdir -p /opt/trino/etc/catalog

cd /opt/trino/

mkdir -p /data/trino/var

 

 

1.2. 配置jvm.config

-server

-Xmx1G

-XX:-UseBiasedLocking

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+ExplicitGCInvokesConcurrent

-XX:+ExitOnOutOfMemoryError

-XX:+HeapDumpOnOutOfMemoryError

-XX:-OmitStackTraceInFastThrow

-XX:ReservedCodeCacheSize=64M

-XX:PerMethodRecompilationCutoff=10000

-XX:PerBytecodeRecompilationCutoff=10000

-Djdk.attach.allowAttachSelf=true

#-Xbootclasspath/a:/opt/trino/etc/alluxio-site.properties

-Djdk.nio.maxCachedBufferSize=2000000

1.3. 配置config.properties

coordinator节点配置

vim /opt/trino/etc/config.properties

内容如下:

 

# 该节点是否作为coordinator

coordinator=true

# coordinator是否同时作为worker节点

node-scheduler.include-coordinator=true

# http连接端口

http-server.http.port=8550

# 所有节点查询可以使用的最大内存和

query.max-memory=3GB

# 单个节点查询可以使用的最大用户内存

query.max-memory-per-node=512MB

# 服务发现的地址

discovery.uri=http://xxx.xxx.xxx.xxx:8550

 

1.4. 配置node.properties

vim /opt/trino/etc/node.properties

# 集群所有节点环境名称必须一样

node.environment=trino_cluster

# UUID, 36个16进制数字, 每个节点的都不一样, 默认随机生成, 设置固定值在集群升级时可以保持和原来的一致

node.id=a49c04c9-6642-11ec-acff-30d042079a38

# 日志文件和数据文件储存目录

node.data-dir=/data/trino/var

1.5. 修改权限

chmod trino:trino /opt/trino/

1.6. 安装jdk

解压jdk

jdk-17.0.9+9

 

启动trino

su - trino

/opt/trino/bin/launcher start

ss -tunlp | grep 8550

 


相关文章

 大数据集群监控配置操作指导(四)Spark监控使用jmx

大数据集群监控配置操作指导(四)Spark监控使用jmx

graphite_exporter方式Graphite 来收集度量标准,Grafana 则用于构建仪表板,首先,需要配置 Spark 以将 metrics 报告到 Graphite。prometheu...

MySQL运维实战之ProxySQL(9.2)ProxySQL安装和配置

proxysql安装proxysql提供了各个linux发行版的安装包,我们可以使用操作系统的包管理系统来安装proxysql。这里我们以CentOS 7为例:1、从github下载安装包根据OS版本...

CDP实操(7.1.4版本)--RangerAdmin使用负载均衡实现高可用

CDP实操(7.1.4版本)--RangerAdmin使用负载均衡实现高可用

本文主要是通过配置外部负载平衡器,实现 Ranger HA。1、在 Cloudera Manager 中,选择 Ranger,然后选择Actions > Add Role Instances。2...

MySQL运维实战(2.1) 登录失败次数太多导致主机被block的问题处理

参数max_connect_errorsMySQL有参数max_connect_errors,当一个主机尝试登录MySQL,失败的次数超过了max_connect_errors,则这个主机将无法登录到...

Mac安装Hadoop文档-保姆级操作(一)

Mac安装Hadoop文档-保姆级操作(一)

首先配置ssh环境在Mac下如果想使用Hadoop,必须要配置ssh环境, 如果不执行这一步,后面启动hadoop时会出现Connection refused连接被拒绝的错误。首先终端命令框输入:ss...

K8s数据持久化

K8s数据持久化

一、为什么需要持久化为了解决pod里面的容器被删除后数据不丢失,则引入了存储类型,类似于docker中的数据卷。在kubernetes集群中,其是支持多种存储类型,包括但不限于emptyDir,Hos...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。