Flink部署

恩慈11个月前技术文章322


安装前准备

1.1. 添加环境变量

vi /etc/profile

 

export FLINK_HOME=/opt/flink

export PATH=$PATH:$FLINK_HOME/bin

 

source /etc/profile

 

1.2. 创建用户和用户组

groupadd flink

useradd -g flink flink

安装flink

1.3. 解压安装包

tar -zxf flink-1.16.2.tar.gz -C /opt

1.4. 复制文件

scp -rp /opt/flink-1.16.2 172.16.38.{10,11,12,218,220,221,222}:/opt

ln -s /opt/flink-1.16.2 /opt/flink

1.5. 修改权限

chown flink:flink -R /opt/flink-1.16.2

配置flink

1.6. 配置flink-conf.yaml文件

jobmanager.rpc.address: 172.16.38.222

jobmanager.memory.process.size: 1600m

taskmanager.memory.process.size: 1728m

taskmanager.numberOfTaskSlots: 1

parallelism.default: 1

jobmanager.execution.failover-strategy: region

rest.port: 8088

rest.address: 172.16.38.222

historyserver.web.address: 172.16.38.222

historyserver.web.port: 8083

jobmanager.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

historyserver.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

1.7. 配置masters文件

vim /opt/flink/conf/masters

 

内容如下:

 

DPS2-DA-qas4:8088

1.8. 配置workers文件

vim /opt/flink/conf/workers

 

内容如下:

 

DPS2-DA-qas1

DPS2-DA-qas2

DPS2-DA-qas3

启动flink

su - flink

start-cluster.sh

 


相关文章

证书不识别问题处理

证书不识别问题处理

生成证书时客户端进入显示不识别在172.16.121.210生成一个证书后,使用keytool -importkeystore命令将其他节点172.16.121.114的条目进行合并,问题并没有解决,...

Hive架构图及Hive SQL的执行流程

Hive架构图及Hive SQL的执行流程

1、Hive产生背景MapReduce编程的不便性HDFS上的文件缺少Schema(表名,名称,ID等,为数据库对象的集合)2、Hive是什么Hive的使用场景是什么?基于Hadoop做一些数据清洗啊...

Apache hive 对接达梦数据库FQA

Apache hive 对接达梦数据库FQA

对接中遇到的问题问题1解决办法定义dm_svc.confIME_ZONE=(480) LANGUAGE=(cn) HIVE=(172.16.104.165:5236) [HIVE] KEYWO...

 MySQL优化器特性(九)行数评估

MySQL优化器特性(九)行数评估

查询的行数在成本计算中起了很重要的作用:1、row_evaluate_cost和行数直接相关2、需要访问多少索引页面,和行数直接相关。根据页面大小和平均索引条目长度计算每个索引页面的记录数,根据记录数...

doris数据删除恢复

用户执行命令drop database/table/partition之后,再使用命令recover来恢复整个数据库/表/分区的所有数据。这种修复将会把FE上的数据库/表/分区的结构,从catalog...

Haproxy配置负载均衡

yum安装haproxy如果后面要配置高可用,和keepalived配合使用更佳。yum install haproxy修改配置文件设置impala和ldap的负载均衡(Impala Daemon分布...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。