EMR集群主机/opt/bignode目录占用巨大并持续增长

小丫2年前技术文章920

问题现象:

如下qa环境集群中,master节点

image.png

出现如下磁盘告警

image.png

处理步骤:

登陆到该节点服务器,首先定位是哪个目录占用系统盘空间较大

image.png

定位是由于:/opt/bignode/blocklet_indexing目录下占用空间极大

该目录下存在较多日志文件,截取部分文件如下:

image.png

之前有跟阿里后台技术确认过,该日志文件可以清理。不过发现,在几个月之前刚清理过这台机器上的这个目录下的日志。同时,注意到,目前只有qa环境的matser节点会存在该问题,生产环境的master节点该目录从未占用过这么大空间。

于是,在阿里云帮助文档搜索,找到文档:

https://help.aliyun.com/document_detail/186528.html?spm=5176.21213303.J_6704733920.7.5f143edalKuSFW&scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%40186528.S_hot%2Bos0.ID_186528-RL_bignode-OR_helpmain-V_2-P0_0#section-50c-f9h-bda

注意到文档中有如下问题汇总:

image.png

登陆到服务器查看进程情况:

image.png

发现确实是只剩了一个进程,文档中描述的问题和目前遇到的一致。

按照文档中操作,kill进程

image.png

等待一段时间之后,核查两个进程都自动被拉起

image.png

并且磁盘空间也恢复正常

image.png

相关文章

scylladb下线数据中心

1、在要下线的老数据中心所有节点运行数据修复nodetool -h ::FFFF:127.0.0.1 repair -pr2、更改所有业务keyspace的复制策略不在写入老的数据中心--查看所有的k...

MySQL运维实战(3.1) MySQL官方客户端使用介绍

mysql是mysql安装包默认的客户端。位于二进制安装包的bin目录。或者通过rpm安装包安装mysql-community-client。使用mysql程序linux终端下,输入mysql命令登陆...

Hadoop集群小文件合并优化建议指导

Hadoop集群小文件合并优化建议指导

1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下,针对小文件进行优化处理,有效减小集群文件对象数目,减缓namenode所承载的压力,减少mapreduce任务扫描文...

linux中的buffer和cache

linux中的buffer和cache

linux中的buffer和cache一、buffer和cache的来源及应用1、来源Buffer 是缓冲区,而 Cache 是缓存,两者都是数据在内存中的临时存储。那么,这两种“临时存储”有什么区别...

Containerd OCI runtime create failed

Containerd OCI runtime create failed

1、背景Kubernetes 集群新增 worker 节点(centos7、containerd),发现容器一直启动不起来。2、报错信息经查看系统 message 日志发现如下报错信息:rpc err...

Kafka Rebalance详解

1.rebalance概览rebalance中文含义为再平衡。它本质上是一组协议,它规定了一个 consumer group 是如何达成一致来分配订阅 topic 的所有分区的。比方说Consumer...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。