kafka 对于消息体的大小默认为单条最大值是1M 但是在我们应用场景中, 常常会出现一条消息大于1M，如果不对kafka 进行配置。则会出现生产者无法将消息推送到kafka 或消费者无法去消费kafka 里面的数据, 这时我们就要对kafka 进
行以下配置：server.properties
replica.fetch.max.bytes: 1048576 broker 可复制的消息的最大字节数, 默认为1M
message.max.bytes: 1000012 kafka 会接收单个消息size 的最大限制， 默认为1M左右
注意：message.max.bytes 必须小于等于replica.fetch.max.bytes，否则就会导致replica 之间数据同步失败。
一．CNI是什么首先我们介绍一下什么是 CNI，它的全称是 Container Network Interface，即容器网络的 API 接口。它是 K8s 中标准的一个调用网络实现的接口。Kubel...
使用pstree –p 进程号 的方式能够获取taskmanager的pstree信息，这个地方提供一个收集脚本。内容如下：#!/bin/bashsearchPID() { l...
1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下，针对小文件进行优化处理，有效减小集群文件对象数目，减缓namenode所承载的压力，减少mapreduce任务扫描文...
Nginx-Ingress和traefik区别1. Ingress Controllerk8s 是通过一个又一个的 controller 来负责监控、维护集群状态。Ingress Controller...
一、背景 限流的目的是通过对并发访问/请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务（定向到错误页），多应用于高并发场景和安全防护场景。通过限流有效地减缓暴力密码破解攻击，也可...
安装前准备修改环境变量vi /etc/profile export KAFKA_HOME=/opt/kafkaexport PATH=$PATH:$KAFKA_HOME/bin创建用户及用户组grou...
