Doris性能测试

恩慈1年前技术文章824

1.性能测试

(1)环境信息

硬件环境

image.png 

软件环境

Doris 部署 3BE 3FE

内核版本:Linux version 5.5.0-96-generic

操作系统版本:CentOS Linux release 7.6.1810 (Core)

Doris 软件版本: Apache Doris 2.0.0

JDKjava version "1.8.0_311"

 

测试数据量

image.png 

(2)数据准备

        步骤1. SSB 数据生成工具前准备


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/build-ssb-dbgen.sh

sh build-ssb-dbgen.sh

image.png 


 

步骤2. 生成 SSB 测试集


复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/gen-ssb-data.sh

sh gen-ssb-data.sh -s 100 -c 100

说明-s 100 表示测试集大小系数为 100-c 100 表示并发100个线程生成 lineorder 表的数据。-c 参数也决定了最终 lineorder 表的文件数量。参数越大,文件数越多,每个文件越小。

 


步骤3. 建表


在主FE节点用mysql客户端执行如下两个链接中的sql语句

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-tables.sql

https://github.com/apache/doris/blob/master/tools/ssb-tools/ddl/create-ssb-flat-table.sql

image.png

 

步骤4. 导入数据


ssb目录的上级目录下新建conf目录并编辑doris-cluster.conf文件

内容如下

export FE_HTTP_PORT="8030"

export FE_QUERY_PORT="9030"

export USER="root"

export PASSWORD=' '

export DB="ssb"

 

接着复制如下链接中的脚本内容并执行

https://github.com/apache/doris/blob/master/tools/ssb-tools/bin/load-ssb-data.sh

-c 5 表示启动 10 个并发线程导入(默认为 5)。在单 BE 节点情况下,由 sh gen-ssb-data.sh -s 100 -c 100 生成的 lineorder 数据,同时会在最后生成ssb-flat表的数据,如果开启更多线程,可以加快导入速度,但会增加额外的内存开销。

 

image.png 

image.png 

(3)测试

标准 SSB 查询语句结果如下

sql1:

                     image.png

 

 

sql2:

     image.png

 

sql3:

     image.png

 

sql4:

                    image.png


                sql5:

                    image.png

            sql6:

                    image.png

相关文章

Mac安装Hadoop文档-保姆级操作(二)

Mac安装Hadoop文档-保姆级操作(二)

配置hadoop进入hadoop的目录:cd /opt/homebrew/Cellar/hadoop/3.3.6/libexec/etc/hadoop修改core-site.xml<config...

网络抓包实战

网络抓包实战

1、为什么要学习抓包?主要是因为碰到网络相关问题,如果不进行抓包的话,可能会很难进行定位解决,抓包可以看做是另类的日志信息收集。对于解决网络问题至关重要。2、抓包普通环境tcpdump -- a po...

trino组件对接ldap(二)

trino组件对接ldap(二)

1、coordinater设置证书keytool -genkeypair -validity 36500 -ext SAN=IP:172.16.121.0,DNS:hadoop001  -alias ...

Redis 运维规范_key 设计规范

Redis 运维规范_key 设计规范

一、key 设计规范1、设计合理的Key名称与长度Key名称:要见名知其意,方便快速定位问题及相关业务。key 名称要避免使用单双引号、转义字符等特殊符号。 key长度:在能完整描述业务的前提下尽量精...

Hadoop集群小文件合并优化建议指导

Hadoop集群小文件合并优化建议指导

1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下,针对小文件进行优化处理,有效减小集群文件对象数目,减缓namenode所承载的压力,减少mapreduce任务扫描文...

mysql查线上数据注意数据库的隔离级别

数据库的隔离级别定义了一个事务可能对其他并发事务的可见性,以及它们可能对数据库的影响。隔离级别的选择影响着并发性能和数据的一致性,不同的隔离级别能够防止不同程度的并发问题,如脏读(Dirty Read...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。