Presto临时设置session超时时间

耀灵11个月前技术文章527

全局默认超时时间为200s:

1.png

测试语句:

select 
  "t7"."__fcol_16" "__fcol_22", 
  date_trunc('month', "t7"."__fcol_21") "__fcol_24", 
  sum("t7"."__fcol_19") "__fcol_25", 
  sum("t7"."__fcol_18") "__fcol_26"
from (select 
  "t6"."__fcol_12" "__fcol_16", 
  "t6"."__fcol_13" "__fcol_17", 
  "t6"."__fcol_14" "__fcol_18", 
  "t6"."__fcol_15" "__fcol_19", 
  date_parse("t6"."__fcol_8", '%Y%m') "__fcol_21"
from (select 
  "t5"."__fcol_3" "__fcol_8", 
  "t5"."__fcol_4" "__fcol_9", 
  "t5"."__fcol_5" "__fcol_10", 
  "t5"."__fcol_6" "__fcol_11", 
  "t5"."__fcol_7" "__fcol_12", 
  "t5"."__fcol_0" "__fcol_13", 
  sum("t5"."__fcol_2") "__fcol_14", 
  count("t5"."__fcol_3") "__fcol_15"
from (select 
  "T_77486F_0"."itemname" "__fcol_0", 
  cast(cast("T_77486F_0"."fillname" as varchar) as double) "__fcol_2", 
  "T_77486F_0"."ispc_dt" "__fcol_3", 
  "T_77486F_0"."sal_head" "__fcol_4", 
  "T_77486F_0"."sal_area" "__fcol_5", 
  "T_77486F_0"."admn_rgn" "__fcol_6", 
  "T_77486F_0"."clnt_tp" "__fcol_7"
from "dm"."fact_ispc_item_cus_imp_kpi" "T_77486F_0"
where (
  "T_77486F_0"."templatename" in (
    '2021年明细表导入', '2020年明细表导入'
  )
  and "T_77486F_0"."itemname" in (
    '蒙牛堆箱陈列数量', '伊利堆箱陈列数量', '蒙牛排面总数', '伊利排面总数', '蒙牛SKU总数', '伊利SKU总数', '得分', '蒙牛堆头及端架总数', 
    '伊利堆头及端架总数'
  )
)) "t5"
group by 
  1, 
  2, 
  3, 
  4, 
  5, 
  6
) "t6") "t7"
where (
  exists (
    select 1
    from (select 
  "t3"."__fcol_13" "__fcol_16", 
  "t3"."__fcol_14" "__fcol_17", 
  "t3"."__fcol_15" "__fcol_18"
from (select 
  "t2"."__fcol_10" "__fcol_13", 
  "t2"."__fcol_12" "__fcol_14", 
  rank() over (partition by "t2"."__fcol_10" order by "t2"."__fcol_12" desc) "__fcol_15"
from (select 
  "t1"."__fcol_6" "__fcol_10", 
  date_trunc('month', "t1"."__fcol_9") "__fcol_12"
from (select 
  "t0"."__fcol_4" "__fcol_6", 
  "t0"."__fcol_5" "__fcol_7", 
  date_parse("t0"."__fcol_0", '%Y%m') "__fcol_9"
from (select 
  "T_77486F"."ispc_dt" "__fcol_0", 
  "T_77486F"."sal_head" "__fcol_1", 
  "T_77486F"."sal_area" "__fcol_2", 
  "T_77486F"."admn_rgn" "__fcol_3", 
  "T_77486F"."clnt_tp" "__fcol_4", 
  "T_77486F"."itemname" "__fcol_5"
from "dm"."fact_ispc_item_cus_imp_kpi" "T_77486F"
where (
  "T_77486F"."templatename" in (
    '2021年明细表导入', '2020年明细表导入'
  )
  and "T_77486F"."itemname" in (
    '蒙牛堆箱陈列数量', '伊利堆箱陈列数量', '蒙牛排面总数', '伊利排面总数', '蒙牛SKU总数', '伊利SKU总数', '得分', '蒙牛堆头及端架总数', 
    '伊利堆头及端架总数'
  )
)
group by 
  1, 
  2, 
  3, 
  4, 
  5, 
  6
) "t0") "t1"
where "t1"."__fcol_7" in ('得分')
group by 
  1, 
  2
) "t2") "t3"
where "t3"."__fcol_15" <= 13) "t4"
    where (
      coalesce("t7"."__fcol_16", '0') = coalesce("t4"."__fcol_16", '0')
      and coalesce("t7"."__fcol_16", '1') = coalesce("t4"."__fcol_16", '1')
      and coalesce(date_trunc('month', "t7"."__fcol_21"), timestamp '2000-01-01 00:00:00.0') = coalesce(cast("t4"."__fcol_17" as timestamp), timestamp '2000-01-01 00:00:00.0')
      and coalesce(date_trunc('month', "t7"."__fcol_21"), timestamp '2001-01-01 00:00:00.0') = coalesce(cast("t4"."__fcol_17" as timestamp), timestamp '2001-01-01 00:00:00.0')
    )
  )
  and "t7"."__fcol_17" in ('得分')
)
group by 
  1, 
  2

测试时间为:200.4s

测试结果:

2.png


临时修改超时时间:

将临时修改语句添加到sql中:

3.png

5.png

测试时间为:272.4s

测试结果:

任务运行时间超过全局配置的200s,任务正常运行成功,临时设置session超时生效

4.png


相关文章

trino容器对接alluxio(四)

trino容器对接alluxio(四)

前提:本文是基于已经部署了trino容器和 集群中部署了alluxio组件的基础上,进行的trino与alluxio的组件对接,alluxio已经开启了高可用模式。本文的冒烟测试是在trino对接ld...

MySQL 组复制一致性保证

MySQL 组复制一致性保证

说明本篇文章介绍,MySQL 组复制作为一个分布式系统,如何保证事务一致性?1. 一致性级别MySQL 8.0.14 版本开始,提供组复制变量:group_replication_consistenc...

数据湖技术之iceberg(十三)Iceberg与Hudi对比

Iceberg和Hudi都是数据湖技术,从社区活跃度上来看,Iceberg有超越Hudi的趋势。他们有以下共同点:l   都是构建于存储格式之上的数据组织方式l &nbs...

EMR yarn集成Cgroup

EMR yarn集成Cgroup

CGroups(Control Groups)是Linux内核的一个资源隔离功能,限制/隔离/统计进程的资源使用,包括CPU/内存/磁盘IO/网络等资源。YARN中也集成了CGroups的功能,使得N...

kafka部署

安装前准备修改环境变量vi /etc/profile export KAFKA_HOME=/opt/kafkaexport PATH=$PATH:$KAFKA_HOME/bin创建用户及用户组grou...

MS SQL Server 实战 统计与汇总重复记录

MS SQL Server 实战 统计与汇总重复记录

需求在日常的数据管理应用中,统计和汇总重复记录的情况是经常遇到的一个问题,然后我们会根据统计结果进一步对数据进行合理化处理。比如我们有一组题库数据,主要包括题目和选项字段(如单选题目、多选题目和判断题...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。