Doris性能测试

恩慈1年前技术文章1021

1.性能测试

(1)环境信息

硬件环境

image.png 

软件环境

Doris 部署 3BE 3FE

内核版本:Linux version 5.5.0-96-generic

操作系统版本:CentOS Linux release 7.6.1810 (Core)

Doris 软件版本: Apache Doris 2.0.0

JDKjava version "1.8.0_311"

 

测试数据量

image.png 

(2)数据准备

        步骤1. SSB 数据生成工具前准备


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/build-ssb-dbgen.sh

sh build-ssb-dbgen.sh

image.png 


 

步骤2. 生成 SSB 测试集


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/gen-ssb-data.sh

sh gen-ssb-data.sh -s 100 -c 100

说明-s 100 表示测试集大小系数为 100-c 100 表示并发100个线程生成 lineorder 表的数据。-c 参数也决定了最终 lineorder 表的文件数量。参数越大,文件数越多,每个文件越小。

 


步骤3. 建表


在主FE节点用mysql客户端执行如下两个链接中的sql语句

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-tables.sql

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-flat-table.sql

image.png

 

步骤4. 导入数据


ssb目录的上级目录下新建conf目录并编辑doris-cluster.conf文件

内容如下

export FE_HTTP_PORT="8030"

export FE_QUERY_PORT="9030"

export USER="root"

export PASSWORD=' '

export DB="ssb"

 

接着复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/load-ssb-data.sh

-c 5 表示启动 10 个并发线程导入(默认为 5)。在单 BE 节点情况下,由 sh gen-ssb-data.sh -s 100 -c 100 生成的 lineorder 数据,同时会在最后生成ssb-flat表的数据,如果开启更多线程,可以加快导入速度,但会增加额外的内存开销。

 

image.png 

image.png 

(3)测试

标准 SSB 查询语句结果如下

sql1:

                     image.png

 

 

sql2:

     image.png

 

sql3:

     image.png

 

sql4:

                    image.png


                sql5:

                    image.png

            sql6:

                    image.png

相关文章

oracle开启关闭归档

一、开启归档1.开启前准备:备份spfileCreate pfile='d:pfileSID.ora' from spfile;OS上创建归档目录:+DATA_DG/arch设置归档路径:alter...

DBMS_SESSION包跟踪10046

注意:DBMS_SESSION包:只能跟踪当前会话,不能指定会话DBMS_SESSION.SET_SQL_TRACE=ALTER SESSION SET SQL_TRACE; =ALTER SESSI...

SparkStreaming对接kafka消费模式区别

SparkStreaming对接kafka消费模式区别

Sparkstreaming对接kafka使用的消费方式与常规的kafka消费方式完全不同,其中区别主要为消费者的管理方式不同。Ø  常规消费模式Kafka常规的消费模式以消费者组为消费单元...

Flinksql Kafka 接收流数据并打印到控制台

Flinksql Kafka 接收流数据并打印到控制台

本文目的使用Flink SQL创建一个流处理作业,将来自Kafka主题"dahua_picrecord"的数据写入到另一个表”print_table”控制台中。使用sql-client前 需要启动ya...

MySQL运维实战之ProxySQL(9.1)ProxySQL介绍

MySQL运维实战之ProxySQL(9.1)ProxySQL介绍

mysql通过复制技术实现了数据库高层面的可用,但是对于应用来说,当后端MySQL发生高可用切换时,应该怎么处理?我们考虑几种方案:1、使用域名绑定。应用通过dns连接后端实例,当后端发生切换后,将d...

Mac安装Hadoop文档-保姆级操作(一)

Mac安装Hadoop文档-保姆级操作(一)

首先配置ssh环境在Mac下如果想使用Hadoop,必须要配置ssh环境, 如果不执行这一步,后面启动hadoop时会出现Connection refused连接被拒绝的错误。首先终端命令框输入:ss...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。