Flume使用案例之监控端口数据

楼高2年前技术文章843

监控端口数据

目标:Flume监控一端Console,另一端Console发送消息,使被监控端实时显示。

分步实现:

1. 安装telnet工具

yum -y install telnet

2. 创建Flume Agent配置文件flume-telnet.conf

#定义Agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

#定义source

a1.sources.r1.type = netcat

a1.sources.r1.bind = dtstack_hdfs

a1.sources.r1.port = 44445

 

# 定义sink

a1.sinks.k1.type = logger

 

# 定义memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# 双向链接

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

3. 判断44444端口是否被占用

$ netstat -tunlp | grep 44445

4. 启动flume配置文件

/opt/module/flume-1.8.0/bin/flume-ng agent \

--conf /opt/module/flume1.8.0/conf/ \

--name a1 \

--conf-file /opt/module/flume-1.8.0/jobconf/flume-telnet.conf \

-Dflume.root.logger==INFO,console

5.  使用telnet工具向本机的44444端口发送内容

$ telnet bigdata111 44445

相关文章

CDH-Kafka节点迁移

CDH-Kafka节点迁移

1、节点迁移先添加节点,将需要换掉的节点关闭,等待选举leader启动新添加的节点关闭旧的节点等待选举leader出现离线分区。需要将分区分配到新的节点2、重分配分区kafak kerberos环境下...

Python 并发编程 Futures

Python 并发编程 Futures

说明编程中如果能合理利用编程语言的并发编程技巧,都可以极大提升程序的性能。在 Python 3.2 版本为用户提供了一个标准库 concurrent.futures 可以实现进程池 和 线程池,本篇文...

sql_mode参数

sql_mode参数

一、参数含义sql_mode是个很容易被忽视的变量,其本身主要就是一种语法校验规则 ,默认值是空值,在这种设置下是可以允许一些非法操作的,比如允许一些非法数据的插入。二、常用值含义1、ONLY_FUL...

CDH-集群节点下线

CDH-集群节点下线

1、前期准备确认下线节点确认节点组件信息确认下线节点数据存储大小确定剩余节点存储大小如果下线节点数据存储大小大于剩余节点存储大小,则不能进行下线,可能存在数据丢失的情况2、操作首先确认待下线节点中是否...

MySQL的数据拆分

MySQL的数据拆分

一、拆分的概念数据拆分当数据过大,存储、SQL性能达到瓶颈;或多个业务共用一个数据库实例,一个小功能故障导致整个系统瘫痪;为解决类似问题,需考虑对数据进行拆分;粗一级的拆分,针对的是业务系统,将不同业...

centos6下时间修改

1、手动修改1)使用date命令修改的时间是系统时间临时生效的,重启系统后失效,需要将当前时间和硬件时间同步后才可以持久生效。date -s "2012-05-23 01:01:01&quo...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。