shell脚本--sed
振鹭11个月前320
...
Hive调优
楼高11个月前312
1.Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM students;在这种情况下，Hive可以简单地读取studen...
Yarn生产环境核心参数
楼高11个月前324
（1）ResourceManager相关配置调度器：yarn.resourcemanager.scheduler.class 默认是容量调度器处理调度器请求的线程数量：yarn.resource...
MapReduce生产经验
楼高11个月前317
MapReduce程序效率的瓶颈在于两点：1）计算机性能（1）CPU、内存、磁盘、网络2）I/O操作优化（1）数据倾斜（2）Map运行时间太长，导致Reduce等待过久（3）小文件过多下来就根据这两点...
HDFS核心参数
楼高11个月前353
1.NameNode内存生产配置（1）NameNode内存计算，每个文件块大概占用150byte，一台服务器128G内存为例，能存储9.1亿个文件128 * 1024 * 1024 * 1024 /...
kafka单条消息过大导致线上OOM
楼高11个月前701
1 线上问题kafka生产者罢工，停止生产，生产者内存急剧升高，导致程序几次重启。查看日志，发现Produce程序爆异常kafka.common.MessageSizeTooLargeExceptio...
Kafka日志管理
楼高11个月前419
Kafka在运行时会生成大量的日志记录信息，包含了运行状态、错误信息、性能指标等。这些日志文件会占用很大的磁盘空间，过多的日志文件也会影响Kafka的性能，因此需要采取一些日志管理措施来清理无用的日志...
Kafka监控
楼高11个月前343
1.监控健康状态为了了解 Kafka 的运作状态和性能状况需要对 Kafka 进行监控和诊断，通过Kafka提供的监控工具和插件可以诊断出 Kafka 的异常、错误、瓶颈和故障等问题并及时采取对应的措...