Doris性能测试

恩慈7个月前技术文章569

1.性能测试

(1)环境信息

硬件环境

image.png 

软件环境

Doris 部署 3BE 3FE

内核版本:Linux version 5.5.0-96-generic

操作系统版本:CentOS Linux release 7.6.1810 (Core)

Doris 软件版本: Apache Doris 2.0.0

JDKjava version "1.8.0_311"

 

测试数据量

image.png 

(2)数据准备

        步骤1. SSB 数据生成工具前准备


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/build-ssb-dbgen.sh

sh build-ssb-dbgen.sh

image.png 


 

步骤2. 生成 SSB 测试集


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/gen-ssb-data.sh

sh gen-ssb-data.sh -s 100 -c 100

说明-s 100 表示测试集大小系数为 100-c 100 表示并发100个线程生成 lineorder 表的数据。-c 参数也决定了最终 lineorder 表的文件数量。参数越大,文件数越多,每个文件越小。

 


步骤3. 建表


在主FE节点用mysql客户端执行如下两个链接中的sql语句

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-tables.sql

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-flat-table.sql

image.png

 

步骤4. 导入数据


ssb目录的上级目录下新建conf目录并编辑doris-cluster.conf文件

内容如下

export FE_HTTP_PORT="8030"

export FE_QUERY_PORT="9030"

export USER="root"

export PASSWORD=' '

export DB="ssb"

 

接着复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/load-ssb-data.sh

-c 5 表示启动 10 个并发线程导入(默认为 5)。在单 BE 节点情况下,由 sh gen-ssb-data.sh -s 100 -c 100 生成的 lineorder 数据,同时会在最后生成ssb-flat表的数据,如果开启更多线程,可以加快导入速度,但会增加额外的内存开销。

 

image.png 

image.png 

(3)测试

标准 SSB 查询语句结果如下

sql1:

                     image.png

 

 

sql2:

     image.png

 

sql3:

     image.png

 

sql4:

                    image.png


                sql5:

                    image.png

            sql6:

                    image.png

相关文章

短信服务开通

短信服务开通

一、添加模版二、添加签名注意开通港澳台签名如果和国内签名冲突,需要修改国内签名 试用场景为通用,三、子账号授权新建RAM用户并创建AK信息提供 签名名称 以及模版CODE即可参考链接: https:/...

Redis 源码安装

Redis 源码安装

1. 下载安装包Linux 中常用两种安装方法,第一种是通过操作系统软件管理软件来安装,例如 CentOS 中的 yum Ubuntu 中的 apt。由于 Redis 更新比较快,而这些软件也不一定更...

如何分析IIS占用CPU资源问题?看看这篇文章吧

如何分析IIS占用CPU资源问题?看看这篇文章吧

ProcDump捕获dump文件1、下载官方下载地址为:https://learn.microsoft.com/en-us/sysinternals/downloads/procdump#introd...

PostgreSQL 索引管理

前言索引是关系型数据库离不开的话题,它是数据库中一种快速查询数据的方法。在 SQL 优化中,创建高性能的索引非常重要,本篇文章将对比 MySQL 介绍 PostgreSQL 的索引管理。1. 主键1....

大数据组件Apache NiFi

大数据组件Apache NiFi

概述NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品,2014年NAS将其贡献给了Apache社区,2015年成为Apache顶级项目。是一个基于Web图形界面,通过拖拽、连接、配置完成基...

开源大数据集群部署(十六)Hadoop集群部署(一)

按照上文中hadoop集群规划进行安装。1 HADOOP集群安装在hd1.dtstack.com主机root权限下安装hadoop集群Ø 解压[root@hd1.dtstack.com softwar...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。