CDH实操--hive表及分区检查

耀灵2年前技术文章653

1)DB数量

select count(1) from DBS;

1.jpg

2)DB中的TABLE数量

select TBLS.db_id, name, count(1) tab_num
from TBLS join DBS on TBLS.db_id = DBS.db_id
group by db_id, name
having tab_num >= 20
order by tab_num desc;

2.jpg

3)TABLEPARTITION数量

select TBLS.tbl_id, tbl_name, count(1) as part_num
from PARTITIONS join TBLS on PARTITIONS.tbl_id = TBLS.tbl_id
group by tbl_id, tbl_name
order by part_num desc limit 30;

3.jpg

4)DB中所有TABLEPARTITION总量

select DBS.db_id,name,count(1) as part_num
from PARTITIONS, TBLS, DBS
where PARTITIONS.tbl_id = TBLS.tbl_id
and TBLS.db_id = DBS.db_id
group by db_id, name
order by part_num desc limit 30;


4.jpg

5)TBL_COL_PRIVSTBL_PRIVS的数据量

TBL_PRIVSTBL_COL_PRIVS记录该hive表的表及列权限认证信息

5.jpg





















相关文章

mysql高可用半同步配置(二)

一、配置半同步1.1、部署半同步:#首先判断MySQL服务器是否支持动态增加插件mysql> select @@have_dynamic_loading#确认支持动态增加插件后,检查MySQL的...

pod内无法访问slb的监听

pod内无法访问slb的监听

问题背景在A账号下的k8s集群中有个nginx 应用,需要去访问B账号下内网slb代理的一个服务。B账号下的slb有多条监听,测试发现只有个别监听可以telnet通,其余监听telnet均不通。可能是...

Hive合并小文件:hive归档(archive)

Hive合并小文件:hive归档(archive)

一、概述       在HDFS中数据和元数据分别由DataNode和NameNode负责,这些元数据每个对象一般占用大约150个字节。大量的小文件相对于大文件会占用大量的NameNode内存。对Na...

HBase使用snappy压缩

HBase使用snappy压缩

安装编译环境依赖yum install -y automake autoconf gcc-c++ cmake libedit libtool openssl-devel ncurses-devel安装...

Linux操作系统启动流程

Linux操作系统启动流程

无论Windows还是Linux操作系统,启动之前都会对硬件进行检测,之后硬盘引导启动操作系统,下面是与启动系统相关的几个概念。BIOS基本输入输出系统 是一组固化到计算机主板上的只读内存镜...

docker常用的操作总结

docker常用的操作总结

一、容器状态管理命令1.docker ps # 查看正在运行的容器             2.docker ps -a #查看当前所有容器             3.docker stop 容器名...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。