flink应用场景分析

南墨5个月前技术文章132

       Flink适合场景:

       实时数据流处理,对实时的海量数据流进行处理,例如:实时ETL、实时报表、监控预警等

       支持对接多种数据源,多种类数据源,例如Kafka,Hbase,DB均能够作为Flink前后的输入端和输出端

       Flink不适合的场景:

       使用Flink作为数据源的桥接器时,前端使用的输出组件性能远大于后端的输入组件。例如:从kafka消费数据直接写入oracle、GaussDB。Kafka的输出性能远比oracle、GaussDB写入性能高。

       Flink使用建议:

       Flink任务是依赖于yarn,建议使用单独的队列或者资源池,不跟其它的短期任务(例如:spark,MR任务等合用一个资源池)合并使用。

       Flink任务启动方式分为yarn-cluster和yarn-session两种启动方式,如果有多个Flink有界任务,建议使用yarn-session统一管控;如果是无界的流式任务使用yarn-cluster启动


相关文章

Storage Classes之nfs provisioner

Storage Classes之nfs provisioner

每个 StorageClass 都有一个制备器(Provisioner),用来决定使用哪个卷插件制备 PV。 该字段必须指定。这里我们使用nfs作为StorageClass的制备器,官方并未对nfs进...

某网络环境下访问业务异常问题排查

某网络环境下访问业务异常问题排查

问题现象在办公网络环境下访问业务:http://xxx服务,无法正常跳转至登陆页面,如下:但是在另外一台机房服务器访问业务:http://xxx 是正常的,会自动跳转到登陆页面,如下:排查步骤1、查找...

MySQL性能优化(五)字符集不一致导致的隐式类型转换

MySQL性能优化(五)字符集不一致导致的隐式类型转换

上一篇文章中,我们介绍了隐式类型转换。这里我们介绍另一种形式的隐式类型转换,由于字符集不一致,导致关联查询无法使用索引。一个例子SELECT *  FROM funds...

PG的多版本并发控制(二)

PG的多版本并发控制(二)

二、 PG数据库DML操作的相关概念xmin、xmax、cmin、cmax是每个数据行tuple上的隐藏字段,主要用于区别不同事务以及相同事务内tuple的行版本。在了解这四个参数概念前,我们首先需要...

网络抓包实战

网络抓包实战

1、为什么要学习抓包?主要是因为碰到网络相关问题,如果不进行抓包的话,可能会很难进行定位解决,抓包可以看做是另类的日志信息收集。对于解决网络问题至关重要。2、抓包普通环境tcpdump -- a po...

Nginx性能优化

Nginx性能优化

       前言:Nginx作为高性能web服务器,即使不特意调整配置参数也可以处理大量的并发请求。 以下的Nginx配置参数作为参考,具体需根据线上业务情况进行调整。一、worker进程work...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。