Flink部署

恩慈1年前技术文章527


安装前准备

1.1. 添加环境变量

vi /etc/profile

 

export FLINK_HOME=/opt/flink

export PATH=$PATH:$FLINK_HOME/bin

 

source /etc/profile

 

1.2. 创建用户和用户组

groupadd flink

useradd -g flink flink

安装flink

1.3. 解压安装包

tar -zxf flink-1.16.2.tar.gz -C /opt

1.4. 复制文件

scp -rp /opt/flink-1.16.2 172.16.38.{10,11,12,218,220,221,222}:/opt

ln -s /opt/flink-1.16.2 /opt/flink

1.5. 修改权限

chown flink:flink -R /opt/flink-1.16.2

配置flink

1.6. 配置flink-conf.yaml文件

jobmanager.rpc.address: 172.16.38.222

jobmanager.memory.process.size: 1600m

taskmanager.memory.process.size: 1728m

taskmanager.numberOfTaskSlots: 1

parallelism.default: 1

jobmanager.execution.failover-strategy: region

rest.port: 8088

rest.address: 172.16.38.222

historyserver.web.address: 172.16.38.222

historyserver.web.port: 8083

jobmanager.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

historyserver.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

1.7. 配置masters文件

vim /opt/flink/conf/masters

 

内容如下:

 

DPS2-DA-qas4:8088

1.8. 配置workers文件

vim /opt/flink/conf/workers

 

内容如下:

 

DPS2-DA-qas1

DPS2-DA-qas2

DPS2-DA-qas3

启动flink

su - flink

start-cluster.sh

 


相关文章

MySQL主从复制配置

一、master服务器配置1)用户添加及授权在master 服务器授权一个账户,拥有slave权限12mysql> GRANT REPLICATION SLAVE,REPLICATION CLI...

Yarn调度器对比

1)Hadoop调度器重要分为三类:FIFO 、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器)。Apache默认的资源调度器是容量调度器;CDH...

Clickhouse表引擎介绍

Clickhouse表引擎介绍

引擎分类ClickHouse表引擎一共分为四个系列,分别是Log、MergeTree、Integration、Special。其中包含了两种特殊的表引擎Replicated、Distributed,功...

linux下ext4类型文件系统/目录扩容

1、查看分区信息[root@172-16-121-112 ~]# fdisk -lDisk /dev/vda: 107.4 GB, 107374182400 bytes, 209715200 sect...

SparkStreaming对接kafka消费模式区别

SparkStreaming对接kafka消费模式区别

Sparkstreaming对接kafka使用的消费方式与常规的kafka消费方式完全不同,其中区别主要为消费者的管理方式不同。Ø  常规消费模式Kafka常规的消费模式以消费者组为消费单元...

InnoDB秘籍:MVCC机制与行锁的深度探索(3)

InnoDB秘籍:MVCC机制与行锁的深度探索(3)

03Innodb 锁机制锁用来控制多个并发的进程或线程对共享资源的访问,在 MySQL 数据库中,共享资源包括:内存中的链表结构,如会话列表、活跃事务列表、InnoDB Buffer Pool 中 L...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。