Kafka优化参数
一、配置文件
Kafka的配置文件为 config/server.properties，在此文件中进行 Kafka 的基础配置，例如端口、日志目录、Zookeeper 信息和 Broker ID 等
还可以自定义配置文件和属性，通过指定 -D 参数来加载。例如：
# 启动脚本命令，其中参数 -daemon 代表以守护进程方式启动，config/server.properties 指定Kafka的配置文件路径，-Dname=mykafka 指定Kafka进程的名称为 mykafka
bin/kafka-server-start.sh -daemon config/server.properties -Dname=mykafka -Dlog.dirs=/home/kafka/logs/
二、高级配置
在生产环境中为了获得更好的性能和稳定性，需要进行高级配置调优，这样可以更好地适应不同的业务场景和负载压力以下是一些需要注意的配置项：
1.分区数量设置
分区的数量可以通过 num.partitions 参数设置，不同的业务场景可能需要不同的分区数。通常情况下每个分区的大小建议不要超过1GB，否则可能会影响读写性能
2.副本数量设置
Kafka副本数的设置需要考虑到数据可靠性和容错性。副本数可以通过 replication.factor 参数设置，建议设置为大于等于2，以保证数据的可靠性。对于需要更高容错性的生产环境，可以将副本数设置为大于等于3，这样即使有一台 Broker 故障也不会影响数据可用性
3.传输机制设置
Kafka支持两种传输机制：plaintext 和 SSL/TLS。如果希望数据传输更加安全可以使用 SSL/TLS 传输机制。但需要注意的是使用 SSL/TLS 会增加 CPU 的负载
4.连接数和缓冲区大小设置
在处理高负载的情况下Kafka Broker可能会遇到连接数和缓冲区大小的限制，这会导致发送和接收消息的性能下降。可以通过修改 max.connections 和 socket.send.buffer.bytes/socket.receive.buffer.bytes 参数来优化连接数和缓冲区大小
5.消息压缩设置
Kafka支持多种压缩算法可以通过 compression.type 参数设置。不同的压缩算法适用于不同类型的消息，需要根据具体业务场景进行调优。
6.消息传输设置
Kafka 的消息传输可以通过 max.message.bytes 参数来限制消息的大小。如果需要处理大量的大型消息可以通过修改该参数来提高性能
6.磁盘容量和性能设置
Kafka存储数据需要占用磁盘空间为了确保消息持久化建议设置合理的磁盘容量大小，并使用高效的 SSD硬盘来提高性能
7.文件系统分区设置
将Kafka存储在单独的文件系统分区中可以提高磁盘读写性能。如果使用多个分区，应该将 Broker 的日志文件平均分配到每个分区中以避免出现磁盘空间不足的情况
8.监控设置
为了更好地监控 Kafka 的运行情况需要设置正确的监控参数。可以通过修改 log.dirs 参数来指定Broker 的日志目录，并设置正确的日志滚动策略。
9.热插拔设置
Kafka支持热插拔可以在运行时添加或删除Broker，以适应不同的业务需求和负载压力。在添加或删除 Broker时，需要注意保证数据的可靠性和一致性
