HDFS FQA-Active Namenode does not exit SafeMode with error :"Protocol message was too large.

櫰木2年前技术文章699

1、背景

重新启动 Active Namenode 时,它卡在安全模式并报告以下错误:

Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Protocol message was too large. May be malicious. Use CodedInputStream.setSizeLimit() to increase the size limit.

2、原因

Namenode 拒绝块报告,因为它们大于 128 MB,因此陷入安全模式

java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Protocol message was too large.
May be malicious. Use CodedInputStream.setSizeLimit() to increase the size limit.

3、解决方案

在hdfs-site.xml中添加以下配置

ipc.maximum.data.length=268435456

默认的ipc.maximum.data.length是128MB,修改为256MB


相关文章

CDH实操--HDFS高可用设置

CDH实操--HDFS高可用设置

1 概述        在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机...

某网络环境下访问业务异常问题排查

某网络环境下访问业务异常问题排查

问题现象在办公网络环境下访问业务:http://xxx服务,无法正常跳转至登陆页面,如下:但是在另外一台机房服务器访问业务:http://xxx 是正常的,会自动跳转到登陆页面,如下:排查步骤1、查找...

Docker Engine - Containerd

Docker Engine - Containerd

1、背景Docker 崛起很久以前,Docker 强势崛起,以 “镜像” 这个大招席卷全球,对其他技术进行致命的降维打击,使其毫无招架之力,就连 Google 也不例外。Google 为了不被拍死在沙...

MySQL系统空间上涨

MySQL系统空间上涨

系统空间上涨一、介绍MySQL 的 ibdata1 是一个用来构建 innodb 系统表空间的文件。该文件包含了 undo ,还包含在用户在系统表空间创建的表信息和索引数据。一般如果数据空间均为独立表...

企业级大数据安全架构(六)

企业级大数据安全架构(六)

本节详细介绍企业级大数据架构中的第六部分,数据授权和审计管理1.Ranger简介Apache Ranger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架,为Hadoop生态系统...

MySQL运维实战之ProxySQL(9.8)SQL镜像

使用proxysql的镜像(mirror)功能,可以将SQL发送到一个额外的后端实例执行。还可以将发送到镜像的SQL进行改写,以测试修改后的SQL是否能正常执行。通过mirror_flagOut字段,...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。