Flink部署

恩慈4个月前技术文章110


安装前准备

1.1. 添加环境变量

vi /etc/profile

 

export FLINK_HOME=/opt/flink

export PATH=$PATH:$FLINK_HOME/bin

 

source /etc/profile

 

1.2. 创建用户和用户组

groupadd flink

useradd -g flink flink

安装flink

1.3. 解压安装包

tar -zxf flink-1.16.2.tar.gz -C /opt

1.4. 复制文件

scp -rp /opt/flink-1.16.2 172.16.38.{10,11,12,218,220,221,222}:/opt

ln -s /opt/flink-1.16.2 /opt/flink

1.5. 修改权限

chown flink:flink -R /opt/flink-1.16.2

配置flink

1.6. 配置flink-conf.yaml文件

jobmanager.rpc.address: 172.16.38.222

jobmanager.memory.process.size: 1600m

taskmanager.memory.process.size: 1728m

taskmanager.numberOfTaskSlots: 1

parallelism.default: 1

jobmanager.execution.failover-strategy: region

rest.port: 8088

rest.address: 172.16.38.222

historyserver.web.address: 172.16.38.222

historyserver.web.port: 8083

jobmanager.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

historyserver.archive.fs.dir: hdfs://mycluster:8020/flink/completed-jobs/

1.7. 配置masters文件

vim /opt/flink/conf/masters

 

内容如下:

 

DPS2-DA-qas4:8088

1.8. 配置workers文件

vim /opt/flink/conf/workers

 

内容如下:

 

DPS2-DA-qas1

DPS2-DA-qas2

DPS2-DA-qas3

启动flink

su - flink

start-cluster.sh

 


相关文章

CDH实操--集群关闭Kerberos

CDH实操--集群关闭Kerberos

1、关掉整个集群2、zookeeper配置搜索kerberos,将enable Kerberos配置关掉3、hdfs配置在输入框中填入[hadoop.security.auth] 进行搜索将安全身份认...

CDP实操--配置Ranger对hive行过滤(七)

CDP实操--配置Ranger对hive行过滤(七)

1.使用sam_sec查询person表2.用sam_sec认证.3.查询person表:4. 配置行过滤策略。5. 新增策略:6. 过滤anna:7. 查询测试。...

CDH实操--CDH集成Trino(三)

CDH实操--CDH集成Trino(三)

1、将parcel包放到对应下载目录将parcel包放到/var/www/html/trino目录下修改httpd配置文件新增parcel文件类型然后通过命令启动httpd服务:systemctl s...

MySQL的数据拆分

MySQL的数据拆分

一、拆分的概念数据拆分当数据过大,存储、SQL性能达到瓶颈;或多个业务共用一个数据库实例,一个小功能故障导致整个系统瘫痪;为解决类似问题,需考虑对数据进行拆分;粗一级的拆分,针对的是业务系统,将不同业...

keycloak部署和使用

keycloak部署和使用

简介Keycloak是一个开源软件产品,旨在为现代的应用程序和服务,提供包含身份管理和访问管理功能的单点登录工具。截至2018年3月,红帽公司负责管理这一JBoss社区项目,并将其作为他们RH-SSO...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。