CDH实操--hive表及分区检查

耀灵1年前技术文章417

1)DB数量

select count(1) from DBS;

1.jpg

2)DB中的TABLE数量

select TBLS.db_id, name, count(1) tab_num
from TBLS join DBS on TBLS.db_id = DBS.db_id
group by db_id, name
having tab_num >= 20
order by tab_num desc;

2.jpg

3)TABLEPARTITION数量

select TBLS.tbl_id, tbl_name, count(1) as part_num
from PARTITIONS join TBLS on PARTITIONS.tbl_id = TBLS.tbl_id
group by tbl_id, tbl_name
order by part_num desc limit 30;

3.jpg

4)DB中所有TABLEPARTITION总量

select DBS.db_id,name,count(1) as part_num
from PARTITIONS, TBLS, DBS
where PARTITIONS.tbl_id = TBLS.tbl_id
and TBLS.db_id = DBS.db_id
group by db_id, name
order by part_num desc limit 30;


4.jpg

5)TBL_COL_PRIVSTBL_PRIVS的数据量

TBL_PRIVSTBL_COL_PRIVS记录该hive表的表及列权限认证信息

5.jpg





















相关文章

keycloak部署和使用

keycloak部署和使用

简介Keycloak是一个开源软件产品,旨在为现代的应用程序和服务,提供包含身份管理和访问管理功能的单点登录工具。截至2018年3月,红帽公司负责管理这一JBoss社区项目,并将其作为他们RH-SSO...

Yarn调度器和调度算法详解

Yarn调度器和调度算法详解

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是C...

grafana版本升级

grafana版本升级

      因Grafana需接入腾讯云监控数据,安装腾讯云监控插件。腾讯云监控应用插件需运行在 Grafana ≥ 7.3且 < 8.0 的版本上。当前使用版本为...

mysql双主更改为主从架构分析

mysql双主更改为主从架构分析

客户需求客户业务运行的在mysql双主架构上,因为客户经常误操作触发双写,导致数据不一致,对业务的稳定运行造成加大的影响。客户现有数据库架构图解决方案基于客户业务和底层数据库架构实际情况,云掣科技提供...

gitlab的部署

gitlab的部署

一、GitLab简介GitLab 是一个用于仓库管理系统的开源项目。使用Git作为代码管理工具,并在此基础上搭建起来的web服务。可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的...

GitLab Agent Server (KAS)

GitLab Agent Server (KAS)

安装KAS参考资料独立部署的gitlab开启KAS独立部署的gitlab安装kas比较简单,首先编辑gitlab的配置文件/etc/gitlab/gitlab.rb# 取消相关注释 ##! Enab...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。