Flink部署

恩慈1年前技术文章603


安装前准备

1.1. 添加环境变量

vi /etc/profile

 

export FLINK_HOME=/opt/flink

export PATH=$PATH:$FLINK_HOME/bin

 

source /etc/profile

 

1.2. 创建用户和用户组

groupadd flink

useradd -g flink flink

安装flink

1.3. 解压安装包

tar -zxf flink-1.16.2.tar.gz -C /opt

1.4. 复制文件

scp -rp /opt/flink-1.16.2 172.16.38.{10,11,12,218,220,221,222}:/opt

ln -s /opt/flink-1.16.2 /opt/flink

1.5. 修改权限

chown flink:flink -R /opt/flink-1.16.2

配置flink

1.6. 配置flink-conf.yaml文件

jobmanager.rpc.address: 172.16.38.222

jobmanager.memory.process.size: 1600m

taskmanager.memory.process.size: 1728m

taskmanager.numberOfTaskSlots: 1

parallelism.default: 1

jobmanager.execution.failover-strategy: region

rest.port: 8088

rest.address: 172.16.38.222

historyserver.web.address: 172.16.38.222

historyserver.web.port: 8083

jobmanager.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

historyserver.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

1.7. 配置masters文件

vim /opt/flink/conf/masters

 

内容如下:

 

DPS2-DA-qas4:8088

1.8. 配置workers文件

vim /opt/flink/conf/workers

 

内容如下:

 

DPS2-DA-qas1

DPS2-DA-qas2

DPS2-DA-qas3

启动flink

su - flink

start-cluster.sh

 


相关文章

Helm部署

Helm部署

1、helm介绍在没使用helm之前,向Kubernetes部署应用,需要依次部署deployment、svc等,步骤教繁琐,况且随着很多项目微服务化,复杂的应用在容器中部署以及管理显得较为复杂,he...

数据湖Iceberg

数据湖Iceberg

1、概述         Iceberg 是一个面向海量数据分析场景的开放表格式(Table Format)。表格式(Table  Format)可以理解为元数据以及数据文件的一种组织方式,处于计算框...

大数据集群二次开发及调优使用指导(三)-Hive

大数据集群二次开发及调优使用指导(三)-Hive

1.   业务调优:Hive业务的业务主要以批量处理作业为主,批处理主要特点是耗时时间长,消耗的资源比较多,主要的调优和设计推荐如下:1.   &nb...

Trino对接ldap

Tls 证书生成生成的证书分发到每个节点 #ip和主机名为**coordinator**的ip和主机名及对应的vipkeytool -genkeypair -validity 36500 -ext S...

Kubernetes原理分析--Kube-controller list&watch原理解析

Kubernetes原理分析--Kube-controller list&watch原理解析

1.list&watch流程:这里有三个 List-Watch,分别是 Controller Manager(运行在 Master),Scheduler(运行在Master),kubelet(...

HDP部署Tez UI

首先部署tomcat在官网下载apache-tomcat-9.0.22.tar.gz[root@hdp02 opt]# wget https://archive.apache.org/dist/tom...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。