hbase迁移目录说明

南墨12个月前技术文章316

路径(1.0.0)

路径(0.94)

是否迁移

说明

/hbase/WALs

/hbase/.logs

被HLog实例管理的WAL文件。 ### /hbase/WALs/data-hbase.com,60020,1443159380730 对于每个HregionServer,日志目录中都包含一个对应的子目录 ### hbase/WALs/data-hbase.com,60020,1443159380730/data-hbase.com%2C60020%2C1443159380730.1443787240573 在每个子目录下有多个HLog文件(因为日志滚动)

/hbase/oldWALs

/hbase/.oldlogs

当/hbase/WALs 中的HLog文件被持久化到存储文件中,不再需要日志文件时,它们会被移动到/hbase/oldWALs目录。 ###/hbase/oldWALs/data-hbase.com%2C60020%2C1443159381290.1443787452518 具体的oldWALs文件。

/hbase/hbase.id

/hbase/hbase.id

集群的唯一ID

/hbase/hbase.version

/hbase/hbase.version

集群的文件格式版本信息

/hbase/corrupt

/hbase/.corrupt

损坏的日志文件,一般为空

/hbase/.tmp

/hbase/.tmp

当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

/hbase/archive/

/hbase/.archive

存储表的归档和快照,HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。 存储表的归档和快照具体目录: /hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5

/hbase/data

/hbase/表名

hbase存储数据的核心目录

/hbase/data/hbase

NA

该目录存储了存储了 HBase 的 namespace、meta 和acl 三个系统级表。

namespace 中存储了 HBase 中的所有 namespace 信息,包括预置的hbase 和 default。

meta表存储了所有region信息的列表

acl则是表的用户权限控制

- /hbase/data/hbase/meta - /hbase/data/hbase/namespace - /hbase/data/hbase/acl

/hbase/data/default

NA

该目录存储所有用户数据表 /hbase/data/default/表名

在迁移过程中,绿色行是必须要拷贝到目标集群中的,对于黄色的行要确认是否为空,如果不为空,需先与客户确认,corrupt目录存在说明源集群存在日志文件损坏问题,需与客户说明其系统原来发生过问题,此部分数据无需拷贝,对整个迁移操作无影响。

注:以上路径均为实例,请根据实际情况修改路径


相关文章

A集群导入B集群中的高可用版rancher

A集群导入B集群中的高可用版rancher

问题现象:已知在B集群中采用helm方式部署了一个高可用版本的rancher,该rancher中已经配置导入了三套集群,并且三套集群状态在rancher控制台处均显示正常,日常可借助该rancher管...

ES组件集成nlpSQL模块

ES组件集成nlpSQL模块

查看sql插件github https://github.com/NLPchina/elasticsearch-sql 安装cd elasticsearch #进入目录可以先去下载...

JMS 介绍

JMS 介绍

一、JMS的基础JMS是什么:JMS是Java提供的一套技术规范JMS干什么用:用来异构系统 集成通信,缓解系统瓶颈,提高系统的伸缩性增强系统用户体验,使得系统模块化和组件化变得可行并更加灵活通过什么...

kafka日志数据清理策略

kafka日志数据清理策略

1.关于Kafka的日志在Kafka中,日志分为两种:1、数据日志是指Kafka的topic中存储的数据,这种日志的路径是$KAFKA_HOME/config/server.properties文件中...

企业级大数据安全架构(一)

前言1.企业级大数据平台安全隐患目前企业级大数据平台面临的一些安全隐患,只要将这些安全隐患全部解决之后才可以部署到生产环境去使用,因此安全性是大数据平台必备的能力之一。1.1缺乏统一的访问控制机制大数...

PG的analyze与vacuum

analyze-统计信息用于收集表的统计信息,只会对表加读锁,不影响表上其它SQL并发执行,对于大表只会读取表中部分数据 vacuum-碎片回收标记旧版本行的信息为可用,以重复使用这部分空间 更新统计...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。