Hbase映射为Hive外表

振鹭2年前技术文章1214
Hbase对应Hive外表
(背景:在做数据ETL中,可能原始数据在列式存储Hbase中,这个时候,如果我们想清洗数据,可以考虑把Hbase表映射为Hive的外表,然后使用Hive的HQL来清除处理数据)
1. Hbase中创建表
create 'hbase_data',{NAME => 'cf', VERSIONS => 1}
2. Hbase中增加数据
put 'hbase_data', '10001', 'cf:id', '101'
put 'hbase_data', '10001', 'cf:title', 'nanjing'
put 'hbase_data', '10001', 'cf:name', 'yuhuatai'

3. 查询Hbase中数据是否插入成功

image.png

4. 创建Hbase的Hive外表
CREATE EXTERNAL TABLE IF NOT EXISTS hbase_data(
key string COMMENT 'hbase_rowkey',
id string comment "ID",
title string comment "title",
name string,
ts timestamp COMMENT 'hbase_timestamp') comment '' STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES (
'hbase.columns.mapping' = ':key,cf:id, cf:title, cf:name,:timestamp' )
TBLPROPERTIES ('hbase.table.name' = 'hbase_data')
5. 查询Hive表中数据格式

image.png


相关文章

shell编程基础(一)

shell编程基础(一)

1.1 为什么学ShellShell脚本语言是实现Linux/UNIX系统管理及自动化运维所必备的重要工具, Linux/UNIX系统的底层及基础应用软件的核心大都涉及Shell脚本的内容。每一个合格...

CDP实操--集群配置Auto-TLS

CDP实操--集群配置Auto-TLS

1.1手动创建CA证书# mkdir -p /tls/ca # ls /tls # cd /tls/ca # openssl genrsa -out ca.key 2048 # cat ca....

MySQL基本配置文件

MySQL基本配置文件

# 5.7  # mkdir /data/mysql57/{data,logs,run} -pv [client] port ...

数仓主流架构简介之二

数仓主流架构简介之二

一、流批一体数据批流一体是一种云计算架构模式,它结合了批处理和流处理的特点,以实现更高效、灵活和可扩展的数据处理能力。在这种模式下,数据可以同时进行批处理和流处理,以满足不同场景下的需求流批一体:是指...

大数据高可用系列--kudu高可用应急方案

大数据高可用系列--kudu高可用应急方案

1 设置机架感知1.1 前置说明    1.9版本后的kudu已经支持机架感知(cdh6之后的版本中的kudu已支持),由于kudu的每个Tablet一般是三副...

Kubernetes 认证授权

Kubernetes 认证授权

1、认证所有 Kubernetes 集群都有两类用户:由 Kubernetes 管理的服务账号和普通用户。任何客户端访问之前,经由 kubernetes 时,需经过:认证(token, ssl)、授权...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。