hbase迁移目录说明

南墨2年前技术文章571

路径(1.0.0)

路径(0.94)

是否迁移

说明

/hbase/WALs

/hbase/.logs

被HLog实例管理的WAL文件。 ### /hbase/WALs/data-hbase.com,60020,1443159380730 对于每个HregionServer,日志目录中都包含一个对应的子目录 ### hbase/WALs/data-hbase.com,60020,1443159380730/data-hbase.com%2C60020%2C1443159380730.1443787240573 在每个子目录下有多个HLog文件(因为日志滚动)

/hbase/oldWALs

/hbase/.oldlogs

当/hbase/WALs 中的HLog文件被持久化到存储文件中,不再需要日志文件时,它们会被移动到/hbase/oldWALs目录。 ###/hbase/oldWALs/data-hbase.com%2C60020%2C1443159381290.1443787452518 具体的oldWALs文件。

/hbase/hbase.id

/hbase/hbase.id

集群的唯一ID

/hbase/hbase.version

/hbase/hbase.version

集群的文件格式版本信息

/hbase/corrupt

/hbase/.corrupt

损坏的日志文件,一般为空

/hbase/.tmp

/hbase/.tmp

当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

/hbase/archive/

/hbase/.archive

存储表的归档和快照,HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。 存储表的归档和快照具体目录: /hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5

/hbase/data

/hbase/表名

hbase存储数据的核心目录

/hbase/data/hbase

NA

该目录存储了存储了 HBase 的 namespace、meta 和acl 三个系统级表。

namespace 中存储了 HBase 中的所有 namespace 信息,包括预置的hbase 和 default。

meta表存储了所有region信息的列表

acl则是表的用户权限控制

- /hbase/data/hbase/meta - /hbase/data/hbase/namespace - /hbase/data/hbase/acl

/hbase/data/default

NA

该目录存储所有用户数据表 /hbase/data/default/表名

在迁移过程中,绿色行是必须要拷贝到目标集群中的,对于黄色的行要确认是否为空,如果不为空,需先与客户确认,corrupt目录存在说明源集群存在日志文件损坏问题,需与客户说明其系统原来发生过问题,此部分数据无需拷贝,对整个迁移操作无影响。

注:以上路径均为实例,请根据实际情况修改路径


相关文章

xargs-管道命令符

有时候我们的脚本却需要 echo '516' | kill 这样的效果,例如 ps -ef | grep 'ddd' | kill 这样的效果,筛选出符合某条件的进程pid然后结束。这种需求对于我们来...

Ranger-hdfs插件部署

Ranger-hdfs插件部署

部署在两个namenode节点解压插件cd /opt/hadooptar -xzvf ranger-2.4.0-hdfs-plugin.tar.gz -C /opt/cd /opt/ranger-2....

MySQL创建用户授权

创建用户授权一、创建用户1.创建管理用户create user 'test'@'%' identified by 'Test123@'create user 'test'@'localhost' id...

MySQL 切换主备(三)

MySQL 切换主备(三)

三、切换主备:3.1、确认主库角色查看 vip 状态,目前在主库上面。3.2、确认备库角色此时备库read_only=1只读不写查看数据库读写状态:show global variables like...

Ambari开启kerberos+安全方案

Ambari开启kerberos+安全方案

安装Kerberosserver节点安装kerberos相关软件yum install -y krb5-server krb5-workstation krb5-libsclient节点安装yum i...

MySQL运维实战之备份和恢复(8.5)xtrabackup恢复增量备份

恢复增量备份时,需要先对基础全量备份进行恢复,然后再依次按增量备份的时间进行恢复。这个例子中,相关备份文件的目录结构如下:/data/backup ├── full │ &nb...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。