kafka常见配置参数解析

浩客2年前技术文章839

broker.id

broker 的全局唯一编号,不能重复,只能是数字

num.network.threads=3

处理网络请求的线程数量

num.io.threads=8

用来处理磁盘 IO 的线程数量

socket.send.buffer.bytes=102400

发送套接字的缓冲区大小

socket.receive.buffer.bytes=102400

接收套接字的缓冲区大小

socket.request.max.bytes=104857600

请求套接字的缓冲区大小

num.partitions=1

topic 在当前 broker 上的分区个数

num.recovery.threads.per.data.dir=1

用来恢复和清理 data 下数据的线程数量

offsets.topic.replication.factor=1

每个 topic 创建时的副本数,默认时 1 个副本

log.retention.hours=168

segment 文件保留的最长时间,超时将被删除

log.roll.hours

即使文件没有到达log.segment.bytes,只要文件创建时间到达此属性,就会创建新文件。这个设置也可以有topic层面的设置进行覆盖。默认4*7

log.cleanup.policy

log清除策略。默认delete

log.retention.bytes

每个topic下每个partition保存数据的总量。注意:

1、这是每个partitions的上限,因此这个数值乘以partitions的个数就是每个topic保存的数据总量。如果log.retention.hours和log.retention.bytes都设置了,则超过了任何一个限制都会造成删除一个段文件。2、这项设置可以由每个topic设置时进行覆盖。

log.cleaner.enable

开启一些清理线程,执行定时清理任务。在kafka 0.9.0之后 log.cleaner.enable 默认是true

log.segment.bytes=1073741824

每个 segment 文件的大小,默认最大 1G

log.segment.delete.delay.ms

日志文件被真正删除前的保留时间

log.retention.check.interval.ms=300000

检查过期数据的时间,默认 5 分钟检查一次是否数据过期

log.dirs=/opt/module/kafka/datas

kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以配置多个磁盘路径,路径与路径之间可以用","分隔

zookeeper.connect

配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)

zookeeper.connection.timeout.ms

客户端等待和zookeeper建立连接的最大时间。默认6000

日志刷新策略

Kafka的日志实际上是开始是在缓存中的,然后根据策略定期一批一批写入到日志文件中去,以提高吞吐率。

log.flush.interval.messages

消息达到多少条时将数据写入到日志文件

log.flush.interval.ms

当达到该时间时,强制执行一次flush

log.flush.scheduler.interval.ms

周期性检查,是否需要将信息flush

相关文章

Spark thriftserver对接cdh hive

Spark thriftserver对接cdh hive

1、背景客户需要使用spark的thriftserver来通过beeline或者jdbc 来使用spark sql环境: spark 3.2.0hive: 2.1.1-cdh6.3.2hadoop:...

canal原理及使用

canal原理及使用

什么是canalcanal,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。这里我们可以简单地把canal理解为一个用来同步增量数据的一个工具。工作原理MySQL主备复制原理M...

MySQL 自动化部署( 5.7 & 8.0版)

MySQL 自动化部署( 5.7 & 8.0版)

一、脚本环境说明系统:CentOSMySQL:仅支持 5.7 & 8.0脚本默认安装路径 /usr/local/mysql脚本默认数据路径 /data/mysql*(脚本会根据版本确定安装名...

mysql查线上数据注意数据库的隔离级别

数据库的隔离级别定义了一个事务可能对其他并发事务的可见性,以及它们可能对数据库的影响。隔离级别的选择影响着并发性能和数据的一致性,不同的隔离级别能够防止不同程度的并发问题,如脏读(Dirty Read...

nginx配置反向代理某个url

nginx配置反向代理某个url

本文讲的这个漏洞 主要是为了解决漏洞扫描的问题我先介绍下这个漏洞主要是因为访问https://172.16.120.17:18090/ws/v1/cluster/info这个 yarn rest的一个...

TDengine集群部署

TDengine集群部署

1、基础环境操作系统:centos7.9内核版本:3.10下载地址:https://docs.taosdata.com/releases/tdengine/#3110架构设置:3 dnode,3 mn...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。