HBase基本架构

浩客2年前技术文章834

111111111111111.PNG

架构角色:

(1)Master

Master 是所有 RegionServer 的管理者,负责监控集群中所有的 RegionServer 实例。主要作用如下:

  • 管理元数据表格 hbase:meta,接收用户对表格创建修改删除的命令并执行;对于表的操作:create, delete, alter

  • 监控 region 是否需要进行负载均衡,故障转移和 region 的拆分;对于 RegionServer的操作:分配 regions 到每个 RegionServer。


(2)Region Server

Region Server 为 Region 的管理者,主要作用如下:

  • 对于数据的操作:负责数据 cell 的处理,例如写入数据 put,查询数据 get 、delete

  • 对于 Region 的操作,拆分合并 region 的实际执行者,有 master 监控,有 regionServer 执行,splitRegion、compactRegion


(3)Zookeeper

HBase 通过 Zookeeper 来做 master 的高可用、RegionServer 的监控、记录 RegionServer 的部署信息、并且存储有 meta 表的位置信息。

HBase 对于数据的读写操作时直接访问 Zookeeper 的。


(4)HDFS

HDFS是Hadoop生态下的分布式文件系统,提供最终的底层数据存储服务,同时为 HBase 提供高容错的支持。

(5)WAL预写日志处理器

master 需要执行的任务记录到预写日志 WAL 中,如果 master 宕机,让 backupMaster

读取日志继续干。


(6)MemStore

写缓存,由于 HFile 中的数据要求是有序的,所以数据是先存储在 MemStore 中,排好序后,等到达刷写时机才会刷写到 HFile,每次刷写都会形成一个新的 HFile。


相关文章

静默安装oracle11g单实例

环境: CentOS 7.8 11.2.0.4.0 orclp:172.16.104.31一、准备1、依赖包检查pdksh 在 redhat 上叫 ksh检查是否有安装root# rpm -q bin...

Elasticsearch查询慢日志配置

shard级别的查询慢日志会将慢查询(查询和获取阶段)记录到elasticsearch_cluster_index_search_slowlog.log日志中。设置查询慢日志各种级别下的阀值,同时也支...

Haproxy配置负载均衡

yum安装haproxy如果后面要配置高可用,和keepalived配合使用更佳。yum install haproxy修改配置文件设置impala和ldap的负载均衡(Impala Daemon分布...

Ansible部署和使用(sshpass)

Ansible部署和使用(sshpass)

简介Ansible默认通过 SSH 协议管理机器。安装Ansible之后,不需要启动或运行一个后台进程,或是添加一个数据库。只要在一台电脑(可以是一台笔记本)上安装好,就可以通过这台电脑管理一组远程的...

HDFS Fsimage分析磁盘目录(文件级别)

HDFS Fsimage分析磁盘目录(文件级别)

首先获取fsimage信息hdfs dfsadmin -fetchImage  /opt/fsimage格式化fsimage 转换为可读文本hdfs oiv -i /opt/fsimage/fsima...

企业级大数据安全架构(三)

企业级大数据安全架构(三)

一、Ambair修改集群节点hostname在后面安装FreeIPA,需要机器名带全域名,如果我们之前集群节点机器名不是全域名可以按照下面方法在Ambari上修改所有节点机器名1.部署节点说明本次测试...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。