hbase迁移目录说明

南墨2年前技术文章611

路径(1.0.0)

路径(0.94)

是否迁移

说明

/hbase/WALs

/hbase/.logs

被HLog实例管理的WAL文件。 ### /hbase/WALs/data-hbase.com,60020,1443159380730 对于每个HregionServer,日志目录中都包含一个对应的子目录 ### hbase/WALs/data-hbase.com,60020,1443159380730/data-hbase.com%2C60020%2C1443159380730.1443787240573 在每个子目录下有多个HLog文件(因为日志滚动)

/hbase/oldWALs

/hbase/.oldlogs

当/hbase/WALs 中的HLog文件被持久化到存储文件中,不再需要日志文件时,它们会被移动到/hbase/oldWALs目录。 ###/hbase/oldWALs/data-hbase.com%2C60020%2C1443159381290.1443787452518 具体的oldWALs文件。

/hbase/hbase.id

/hbase/hbase.id

集群的唯一ID

/hbase/hbase.version

/hbase/hbase.version

集群的文件格式版本信息

/hbase/corrupt

/hbase/.corrupt

损坏的日志文件,一般为空

/hbase/.tmp

/hbase/.tmp

当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

/hbase/archive/

/hbase/.archive

存储表的归档和快照,HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。 存储表的归档和快照具体目录: /hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5

/hbase/data

/hbase/表名

hbase存储数据的核心目录

/hbase/data/hbase

NA

该目录存储了存储了 HBase 的 namespace、meta 和acl 三个系统级表。

namespace 中存储了 HBase 中的所有 namespace 信息,包括预置的hbase 和 default。

meta表存储了所有region信息的列表

acl则是表的用户权限控制

- /hbase/data/hbase/meta - /hbase/data/hbase/namespace - /hbase/data/hbase/acl

/hbase/data/default

NA

该目录存储所有用户数据表 /hbase/data/default/表名

在迁移过程中,绿色行是必须要拷贝到目标集群中的,对于黄色的行要确认是否为空,如果不为空,需先与客户确认,corrupt目录存在说明源集群存在日志文件损坏问题,需与客户说明其系统原来发生过问题,此部分数据无需拷贝,对整个迁移操作无影响。

注:以上路径均为实例,请根据实际情况修改路径


相关文章

Keepalived 高可用解决方案

Keepalived 高可用解决方案

Keepalived 起初是为 LVS 设计的,专门用来监控集群系统中各个服务节点的状态,后来有加入 VRRP 的功能,VRRP 是 Virtual Router Redundancy protoco...

Linux 文件锁

1、背景Linux 系统定时任务正在执行时,可能会遇到上个周期的任务还没有执行完,这样便会造成相同的任务同一时间有过个任务进程在执行。如果任务有对互斥资源操作时,有可能产生死锁。2、用法参考flock...

Kubernetes网络模型与CNI网络插件

Kubernetes网络模型与CNI网络插件

在 Flannel 的网络插件中,容器跨主机网络的两种实现方法:UDP 和 VXLAN。它们有一个共性,就是用户的容器都连接在 docker0 网桥上。而网络插件则在宿主机上创建了一个特殊的设备(UD...

oracle安装实例的响应文件模板解析

位置在:db解压目录下database/response/dbca.rsp###############################################################...

证书过期问题之IPV6协议

证书过期问题之IPV6协议

1、首先了解情况:客户的SSL/TLS证书要过期了,所以进行了证书替换工作,但是替换之后,有一部分客户端还是提示证书已过期,如图所示:2、看这个报错是非常的清晰的,就是证书过期的问题,但是为什么同事没...

日志聚合工具loki

1、loki是什么Loki是一个水平可扩展,高可用性,多租户的日志聚合系统,受到Prometheus的启发。它的设计非常经济高效且易于操作,因为它不会为日志内容编制索引,而是为每个日志流编制一组标签。...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。