EMR集群主机/opt/bignode目录占用巨大并持续增长

小丫2年前技术文章1139

问题现象:

如下qa环境集群中,master节点

image.png

出现如下磁盘告警

image.png

处理步骤:

登陆到该节点服务器,首先定位是哪个目录占用系统盘空间较大

image.png

定位是由于:/opt/bignode/blocklet_indexing目录下占用空间极大

该目录下存在较多日志文件,截取部分文件如下:

image.png

之前有跟阿里后台技术确认过,该日志文件可以清理。不过发现,在几个月之前刚清理过这台机器上的这个目录下的日志。同时,注意到,目前只有qa环境的matser节点会存在该问题,生产环境的master节点该目录从未占用过这么大空间。

于是,在阿里云帮助文档搜索,找到文档:

https://help.aliyun.com/document_detail/186528.html?spm=5176.21213303.J_6704733920.7.5f143edalKuSFW&scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%40186528.S_hot%2Bos0.ID_186528-RL_bignode-OR_helpmain-V_2-P0_0#section-50c-f9h-bda

注意到文档中有如下问题汇总:

image.png

登陆到服务器查看进程情况:

image.png

发现确实是只剩了一个进程,文档中描述的问题和目前遇到的一致。

按照文档中操作,kill进程

image.png

等待一段时间之后,核查两个进程都自动被拉起

image.png

并且磁盘空间也恢复正常

image.png

相关文章

Helm 控制语句

Helm 控制结构(在模板语言中称为 "actions")提供给你和模板作者控制模板迭代流的能力。 Helm 的模板语言提供了以下控制结构:if/else,用来创建条件语句with,用来指定范围ran...

Linux进程的几种状态之R、S、D、T、Z

Linux是一个多用户,多任务的系统,可以同时运行多个用户的多个程序,就必然会产生很多的进程,而每个进程会有不同的状态。1.R(TASK_RUNNING),可执行状态&运行状态(在run_qu...

HDP-Yarn开启CPU调度和隔离

HDP-Yarn开启CPU调度和隔离

进入到ambari主界面 点击yarn 点击config CPU Scheduling and Isolation 设置为enable修改高级配置点击ADVANCED搜索需要修改的配yarn.node...

Hive优化之Spark执行引擎的参数优化(二)

Hive优化之Spark执行引擎的参数优化(二)

        Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中...

Doris部署介绍

标准部署该文档主要介绍了部署 Doris 所需软硬件环境、建议的部署方式、集群扩容缩容,以及集群搭建到运行过程中的常见问题。在阅读本文档前,请先根据编译文档编译 Doris。软硬件需求概述Doris...

Kubernetes 因令牌过期新增节点报错问题处理

1、背景Kubernetes 集群初始化完成之后,间隔一天发现 Worker 节点无法正常加入集群。2、报错信息$ kubeadm join api.k8s.com:9443 --token mmvh...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。