Flink部署

恩慈2年前技术文章1066


安装前准备

1.1. 添加环境变量

vi /etc/profile

 

export FLINK_HOME=/opt/flink

export PATH=$PATH:$FLINK_HOME/bin

 

source /etc/profile

 

1.2. 创建用户和用户组

groupadd flink

useradd -g flink flink

安装flink

1.3. 解压安装包

tar -zxf flink-1.16.2.tar.gz -C /opt

1.4. 复制文件

scp -rp /opt/flink-1.16.2 172.16.38.{10,11,12,218,220,221,222}:/opt

ln -s /opt/flink-1.16.2 /opt/flink

1.5. 修改权限

chown flink:flink -R /opt/flink-1.16.2

配置flink

1.6. 配置flink-conf.yaml文件

jobmanager.rpc.address: 172.16.38.222

jobmanager.memory.process.size: 1600m

taskmanager.memory.process.size: 1728m

taskmanager.numberOfTaskSlots: 1

parallelism.default: 1

jobmanager.execution.failover-strategy: region

rest.port: 8088

rest.address: 172.16.38.222

historyserver.web.address: 172.16.38.222

historyserver.web.port: 8083

jobmanager.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

historyserver.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

1.7. 配置masters文件

vim /opt/flink/conf/masters

 

内容如下:

 

DPS2-DA-qas4:8088

1.8. 配置workers文件

vim /opt/flink/conf/workers

 

内容如下:

 

DPS2-DA-qas1

DPS2-DA-qas2

DPS2-DA-qas3

启动flink

su - flink

start-cluster.sh

 


相关文章

数据库连接异常问题排查

数据库连接异常问题排查

问题描述客户反馈应用端连接数据库异常,报错截图如下:“已超过了锁请求超时时段”。问题排查1、测试端口联通性从应用侧服务器上分别测试数据库服务端口联通性,检测服务正常监听2、数据库服务器重启同客户沟通优...

REPMGR-PG高可用搭建(三)

REPMGR-PG高可用搭建(三)

2.2.2repmgr安装兼容性3节点均安装repmgr1.安装依赖 # yum install flex 2.下载解压 # wget -c https://repmgr.org/downloa...

EMR-java配置国密SM4加密

EMR-java配置国密SM4加密

首先找到bcprov-jdk15on-1.56.jar这个包<dependency>    <groupId>org.bouncycastle</groupId> ...

大数据即席查询-Presto

一、Presto 概念Presto 是一个开源的分布式 SQL 查询引擎,数据量支持 GB 到 PB 字节,主要用来秒级查询的场景。注:虽然 Presto 可以解析 SQL,但它不是一个标准的数据库。...

MySQL优化器特性(四)表关联之BNL(Block Nested Loop)和Hash Join

MySQL优化器特性(四)表关联之BNL(Block Nested Loop)和Hash Join

什么是BNLMySQL表关联时,如果关联条件上没有合适的索引,则join时,对于驱动表的每一条记录,都需要全表扫描被驱动表。如果驱动表有多条数据,则需要多次全表扫描被驱动表,查询性能很差。对于这种情况...

k8s集群内的DNS原理与配置

背景:最近公司有个需求,要在POD应用容器里面能够访问到一些外部域名,这些域名都在一台自建的DNS服务器上做了解析绑定。如果直接在Pod容器里的/etc/hosts文件中设置域名解析,或修改/etc/...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。