hbase迁移目录说明

南墨5个月前技术文章113

路径(1.0.0)

路径(0.94)

是否迁移

说明

/hbase/WALs

/hbase/.logs

被HLog实例管理的WAL文件。 ### /hbase/WALs/data-hbase.com,60020,1443159380730 对于每个HregionServer,日志目录中都包含一个对应的子目录 ### hbase/WALs/data-hbase.com,60020,1443159380730/data-hbase.com%2C60020%2C1443159380730.1443787240573 在每个子目录下有多个HLog文件(因为日志滚动)

/hbase/oldWALs

/hbase/.oldlogs

当/hbase/WALs 中的HLog文件被持久化到存储文件中,不再需要日志文件时,它们会被移动到/hbase/oldWALs目录。 ###/hbase/oldWALs/data-hbase.com%2C60020%2C1443159381290.1443787452518 具体的oldWALs文件。

/hbase/hbase.id

/hbase/hbase.id

集群的唯一ID

/hbase/hbase.version

/hbase/hbase.version

集群的文件格式版本信息

/hbase/corrupt

/hbase/.corrupt

损坏的日志文件,一般为空

/hbase/.tmp

/hbase/.tmp

当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

/hbase/archive/

/hbase/.archive

存储表的归档和快照,HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。 存储表的归档和快照具体目录: /hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5

/hbase/data

/hbase/表名

hbase存储数据的核心目录

/hbase/data/hbase

NA

该目录存储了存储了 HBase 的 namespace、meta 和acl 三个系统级表。

namespace 中存储了 HBase 中的所有 namespace 信息,包括预置的hbase 和 default。

meta表存储了所有region信息的列表

acl则是表的用户权限控制

- /hbase/data/hbase/meta - /hbase/data/hbase/namespace - /hbase/data/hbase/acl

/hbase/data/default

NA

该目录存储所有用户数据表 /hbase/data/default/表名

在迁移过程中,绿色行是必须要拷贝到目标集群中的,对于黄色的行要确认是否为空,如果不为空,需先与客户确认,corrupt目录存在说明源集群存在日志文件损坏问题,需与客户说明其系统原来发生过问题,此部分数据无需拷贝,对整个迁移操作无影响。

注:以上路径均为实例,请根据实际情况修改路径


相关文章

谈谈K8S Pod Eviction 机制

Pod Eviction 简介Pod Eviction 是k8s一个特色功能,它在某些场景下应用,如节点NotReady、Node节点资源不足,把pod驱逐至其它Node节点。从发起模块的角度,pod...

ElasticSearch shard&replica机制梳理和创建index图解

ElasticSearch shard&replica机制梳理和创建index图解

1、shard&replica的机制梳理1个index包含多个shard。一个shard包含index的部分数据每个shard都是最小的工作单元,承载部分数据,lucene实例,完整的建立索引...

Flume使用案例之实时读取目录到HDFS

目标:使用flume监听整个目录的文件分步实现:1. 创建配置文件flume-dir.conf#1 Agenta3.sources = r3a3.sinks = k3a3.channels = c3 ...

CDH时钟同步问题

CDH时钟同步问题

首先执行如下命令:查看chronyd是否启动systemctl status chronyd如果没启动执行如下命令启动systemctl restart chronyd每台检查时间状态chronyc...

Linux运维工具

1.1 查看进程占用带宽情况 - NethogsNethogs 是一个终端下的网络流量监控工具可以直观的显示每个进程占用的带宽。1.2 硬盘读取性能测试 - IOZoneIOZone 是一款 Linu...

MySQL性能优化(一)索引缺失引起的全表扫描

MySQL性能优化(一)索引缺失引起的全表扫描

索引缺失是引起数据库性能问题的第一大原因。一个例子这是一个非常简单的SQL,SELECT * FROM template WHERE templet_id ...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。