hbase迁移目录说明

南墨2年前技术文章535

路径(1.0.0)

路径(0.94)

是否迁移

说明

/hbase/WALs

/hbase/.logs

被HLog实例管理的WAL文件。 ### /hbase/WALs/data-hbase.com,60020,1443159380730 对于每个HregionServer,日志目录中都包含一个对应的子目录 ### hbase/WALs/data-hbase.com,60020,1443159380730/data-hbase.com%2C60020%2C1443159380730.1443787240573 在每个子目录下有多个HLog文件(因为日志滚动)

/hbase/oldWALs

/hbase/.oldlogs

当/hbase/WALs 中的HLog文件被持久化到存储文件中,不再需要日志文件时,它们会被移动到/hbase/oldWALs目录。 ###/hbase/oldWALs/data-hbase.com%2C60020%2C1443159381290.1443787452518 具体的oldWALs文件。

/hbase/hbase.id

/hbase/hbase.id

集群的唯一ID

/hbase/hbase.version

/hbase/hbase.version

集群的文件格式版本信息

/hbase/corrupt

/hbase/.corrupt

损坏的日志文件,一般为空

/hbase/.tmp

/hbase/.tmp

当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

/hbase/archive/

/hbase/.archive

存储表的归档和快照,HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。 存储表的归档和快照具体目录: /hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5

/hbase/data

/hbase/表名

hbase存储数据的核心目录

/hbase/data/hbase

NA

该目录存储了存储了 HBase 的 namespace、meta 和acl 三个系统级表。

namespace 中存储了 HBase 中的所有 namespace 信息,包括预置的hbase 和 default。

meta表存储了所有region信息的列表

acl则是表的用户权限控制

- /hbase/data/hbase/meta - /hbase/data/hbase/namespace - /hbase/data/hbase/acl

/hbase/data/default

NA

该目录存储所有用户数据表 /hbase/data/default/表名

在迁移过程中,绿色行是必须要拷贝到目标集群中的,对于黄色的行要确认是否为空,如果不为空,需先与客户确认,corrupt目录存在说明源集群存在日志文件损坏问题,需与客户说明其系统原来发生过问题,此部分数据无需拷贝,对整个迁移操作无影响。

注:以上路径均为实例,请根据实际情况修改路径


相关文章

Trino对接ldap

Tls 证书生成生成的证书分发到每个节点 #ip和主机名为**coordinator**的ip和主机名及对应的vipkeytool -genkeypair -validity 36500 -ext S...

Kubernetes 网络插件

Kubernetes 自身并不提供网络解决方案,允许托管使用第三方的网络解决方案。flannelcalicocanelkube-router......各种 CNI 插件的解决方案: 虚拟网桥(bri...

DRDS SQL闪回介绍

DRDS SQL闪回介绍

1、SQL闪回注意事项1、SQL闪回依赖RDS BINLOG保存时间,需要注意开启binlog备份。2、SQL闪回生成的恢复文件默认保存7天,闪回sql后需要尽快执行。3、SQL闪回精确匹配需要满足如...

clickhouse对接集群hdfs(二)

clickhouse对接集群hdfs(二)

前提:集群中已经部署了hadoop集群和clickhouse集群,clickhouse集群进行对接hdfs1、调整配置文件将集群中的hdfs-site.xml文件同步到ck集群节点的/etc/clic...

MySQL运维实战之Clone插件(10.2)Clone插件原理

MySQL运维实战之Clone插件(10.2)Clone插件原理

clone插件实现clone操作主要分为几个阶段:1、初始阶段。初始阶段,会开启页面跟踪(Page Tracking)。开启页面跟踪后,修改过的页面的编号会被记录下来。页面的修改可分为两个阶段:首先在...

Hive优化之监控(四)

Hive优化之监控(四)

    Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。