kafka单条消息过大导致线上OOM
楼高1年前799
1 线上问题kafka生产者罢工，停止生产，生产者内存急剧升高，导致程序几次重启。查看日志，发现Produce程序爆异常kafka.common.MessageSizeTooLargeExceptio...
Kafka日志管理
楼高1年前469
Kafka在运行时会生成大量的日志记录信息，包含了运行状态、错误信息、性能指标等。这些日志文件会占用很大的磁盘空间，过多的日志文件也会影响Kafka的性能，因此需要采取一些日志管理措施来清理无用的日志...
Kafka监控
楼高1年前381
1.监控健康状态为了了解 Kafka 的运作状态和性能状况需要对 Kafka 进行监控和诊断，通过Kafka提供的监控工具和插件可以诊断出 Kafka 的异常、错误、瓶颈和故障等问题并及时采取对应的措...
Kafka数据恢复
楼高1年前476
一、增量恢复增量恢复需要使用 MirrorMaker 来实现，下面是 MirrorMaker 的用法示例：# 创建MirrorMaker 配置文件cat > /tmp/mirror-maker....
Kafka数据备份
楼高1年前702
一、数据备份Kafka的数据备份包括两种类型：全量备份和增量备份全量备份是将整个 Kafka 的数据复制到一个不同的地方增量备份是在全量备份后仅仅备份增量的数据...
Kafka优化参数
楼高1年前378
一、配置文件Kafka的配置文件为 config/server.properties，在此文件中进行 Kafka 的基础配置，例如端口、日志目录、Zookeeper 信息和 Broker ID 等还可...
元数据管理
楼高1年前408
一、元数据概念元数据是关于数据的数据，它实质上封装了高度结构化字段中有关数据资产的不同属性、历史记录、来源、版本和其他信息，主要用于跟踪、分类和分析。元数据大致定义为提供有关其他内容的信息的数据，但不...
doris数据删除恢复
恩慈1年前883
用户执行命令drop database/table/partition之后，再使用命令recover来恢复整个数据库/表/分区的所有数据。这种修复将会把FE上的数据库/表/分区的结构，从catalog...
大数据之数据采集组件选型
楼高1年前795
按数据的源头、实际上也是对应的数据采集方式，分别进行分析与技术推荐，数据从源头基本分为一下三大类1、Web页面/移动App/MES/IoT/系统生产： 这些数据是被动接收。建议可采用Apache Ni...
数仓主流架构简介之三
楼高1年前503
一、数仓架构经历过程随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构 > 离线大数据架构 &...
数仓主流架构简介之二
楼高1年前458
一、流批一体数据批流一体是一种云计算架构模式，它结合了批处理和流处理的特点，以实现更高效、灵活和可扩展的数据处理能力。在这种模式下，数据可以同时进行批处理和流处理，以满足不同场景下的需求...
