hive执行count和spark执行count结果不一致

九月1年前技术文章906


【组件版本】hive on mr、spark

【问题现象】hive 执行count语句,结果条数为0,spark执行count语句能正常显示count数
【详细描述】

hive 执行count语句:显示count数为0.

select count(*) from edw_tmp.upcloud_warehouse_table_info_df where dt=20230813;

image.png

如果使用hive执行count语句,底层设置limit 限制条数的条件,可以正常显示出count数:

select count(*) from edw_tmp.upcloud_warehouse_table_info_df where dt=20230813 limit 10;

image.png

两者日志差别在于一个启动了底层mr程序,另一个没有启动。

正常客户是使用的spark进行的建表和查询

spark执行

image.png

spark 客户端thriftserver创建表和hive创建表,涉及到的元数据更新不一致,并且集群底层对count查询进行了优化,默认情况下,Hive会尝试使用表的统计信息(如表的行数、列统计等)来优化查询的执行计划,但是,在某些情况下,统计信息可能不准确或过时,这可能导致Hive做出不恰当的优化决策,影响查询性能和结果。

【解决方法】

方法1:设置如下参数,先禁用查询优化,走底层数据查询。

set hive.compute.query.using.stats=false;

image.png

方法2:

hive使用analyze收集元数据信息后再进行查询。

ANALYZE TABLE  edw_tmp.upcloud_warehouse_table_info_df COMPUTE STATISTICS;

image.png


相关文章

ranger对接hbase

ranger对接hbase

前提:本文是基于集群中已经部署了ranger组件和hbase组件的情况下,增加ranger对hbase组件的对接。安装部署1、ranger-hbase插件安装使用ranger2.3版本对接插件。将插件...

Java-API对HDFS的操作(IDEA版)

Java-API对HDFS的操作(IDEA版)

前期工作首先就是安装maven在win系统下不配置hadoop环境,直接运行代码会报错,显示缺少winutils.exe 和 hadoop.dll 两个文件首先添加pom.xml文件  <dep...

trino容器对接hudi(五)

trino容器对接hudi(五)

前提:本文是基于已经部署了trino容器的基础上进行的。冒烟测试是在trino对接ldap后并且ranger已经对接了metastore权限后,并且spark组件已经对接hudi,并且成功创建hudi...

Mac安装Hadoop文档-保姆级操作(二)

Mac安装Hadoop文档-保姆级操作(二)

配置hadoop进入hadoop的目录:cd /opt/homebrew/Cellar/hadoop/3.3.6/libexec/etc/hadoop修改core-site.xml<config...

ranger_audits更换审计日志保留时间

ranger_audits更换审计日志保留时间

本次测试集群为:hdp: 3.1.5.0-152Infra Solr: 0.1.0Ranger: 1.2.0.3.1修改Solr 的中ranger_audits 数据保留时长HDP、CDP中Range...

Hive优化之SQL的优化(三)

Hive优化之SQL的优化(三)

     Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hi...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。