Doris性能测试

恩慈2年前技术文章1345

1.性能测试

(1)环境信息

硬件环境

image.png 

软件环境

Doris 部署 3BE 3FE

内核版本:Linux version 5.5.0-96-generic

操作系统版本:CentOS Linux release 7.6.1810 (Core)

Doris 软件版本: Apache Doris 2.0.0

JDKjava version "1.8.0_311"

 

测试数据量

image.png 

(2)数据准备

        步骤1. SSB 数据生成工具前准备


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/build-ssb-dbgen.sh

sh build-ssb-dbgen.sh

image.png 


 

步骤2. 生成 SSB 测试集


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/gen-ssb-data.sh

sh gen-ssb-data.sh -s 100 -c 100

说明-s 100 表示测试集大小系数为 100-c 100 表示并发100个线程生成 lineorder 表的数据。-c 参数也决定了最终 lineorder 表的文件数量。参数越大,文件数越多,每个文件越小。

 


步骤3. 建表


在主FE节点用mysql客户端执行如下两个链接中的sql语句

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-tables.sql

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-flat-table.sql

image.png

 

步骤4. 导入数据


ssb目录的上级目录下新建conf目录并编辑doris-cluster.conf文件

内容如下

export FE_HTTP_PORT="8030"

export FE_QUERY_PORT="9030"

export USER="root"

export PASSWORD=' '

export DB="ssb"

 

接着复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/load-ssb-data.sh

-c 5 表示启动 10 个并发线程导入(默认为 5)。在单 BE 节点情况下,由 sh gen-ssb-data.sh -s 100 -c 100 生成的 lineorder 数据,同时会在最后生成ssb-flat表的数据,如果开启更多线程,可以加快导入速度,但会增加额外的内存开销。

 

image.png 

image.png 

(3)测试

标准 SSB 查询语句结果如下

sql1:

                     image.png

 

 

sql2:

     image.png

 

sql3:

     image.png

 

sql4:

                    image.png


                sql5:

                    image.png

            sql6:

                    image.png

相关文章

Nacos服务公网环境登陆报密码错误问题排查

Nacos服务公网环境登陆报密码错误问题排查

问题现象nacos服务内网可以正常登录,如下:走公网代理出来之后,无法正常登录,报错"用户名密码错误"排查步骤链路分析首先确认公网代理的链路:域名—>haproxy—>nginx—>...

lvm介绍和常用命令

lvm介绍和常用命令

在分区的时候,每个分区应该分多大是令人头疼的,而且随着长时间的运行,分区不管你分多大,都会被数据给占满。当遇到某个分区不够用时管理员可能甚至要备份整个系统、清除硬盘、重新对硬盘分区,然后恢复数据到新分...

大数据自动化巡检系统(一)

大数据自动化巡检系统(一)

一、产品简介EasyCare大数据自动化巡检平台是袋鼠云自研的一款大数据集群自动化巡检调优运维平台,支持针对各类大数据组件、服务接口、其他组件等可用性、稳定性进行自动巡检,实现主动实时监控,准确定位问...

CDH实操--CDH5.8.2升级(一)

CDH实操--CDH5.8.2升级(一)

1、摘要和概述本次升级是从cdh5.8.2升级至cdh6.2.1,由于cm对cdh的兼容性,需要先升级cm,从5.8.2升级至至6.2.1。2、升级CM2.1 CM安装文件2.2 CDH安装文件2.3...

ES底层数据存储原理

ES底层数据存储原理

1、ES底层数据存储原理架构图Segment工作流程:A、 新的文档在内存中组织B、 每隔一段时间,buffer将会被提交:生成一个新的segment(一个额外的新的倒序索引)并被写到磁盘,同时一个新...

Docker Engine - Containerd

Docker Engine - Containerd

1、背景Docker 崛起很久以前,Docker 强势崛起,以 “镜像” 这个大招席卷全球,对其他技术进行致命的降维打击,使其毫无招架之力,就连 Google 也不例外。Google 为了不被拍死在沙...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。