MapReduce生产经验

楼高2年前技术文章982

MapReduce程序效率的瓶颈在于两点:

1)计算机性能

(1)CPU、内存、磁盘、网络

2)I/O操作优化

(1)数据倾斜

(2)Map运行时间太长,导致Reduce等待过久

(3)小文件过多

下来就根据这两点瓶颈可以进行适当调优

map端:

1.自定义分区,减少数据倾斜,代码中定义类,继承Partitioner接口,重写getPartition方法

2.减少溢写的次数,mapreduce.task.io.sort.mb,Shuffle的环形缓冲区大小默认100m,可以提高到200m,mapreduce.map.sort.spill.percent,环形缓冲区溢出的阀值默认是80%,可以提高到90%

3.增加Merge合并次数,mapreduce.task.io.sort.factor默认是10,可以提高到20

4.在不影响业务的前提下提前Combiner

5.减少磁盘IO可以采用Snappy压缩

6.Mapreduce.map.memory.mb,默认MapTask内存1g,根据实际情况提高该内存

7.Mapreduce.map.java.opts,控制MapTask堆内存大小,如果内存不够报错oom

8.Mapreduce.map.cpu.vcores,默认MapTask的CPU核数1,如果计算比较密集可以增加CPU核数

9.异常重试,mapreduce.map.maxattempts,每个MapTask最大重试次数,一旦重试次数超过,认为MapTask失败,根据机器性能可以提高

reduce端:

1.mapreduce.reduce.shuffle.parallelcopies,每个Reduce去Map中拉去数据的并行数,默认值是5,可以适当提高

2.Mapreduce.reduce.shuffle.input.buffer.percent,Buffer大小占Reduce可用内存的比例,默认值0.7,可以提高到0.8

3.Mapreduce.reduce.shuffle.merge.percent,Buffer中的数据达到多少比例开始写入磁盘,默认值0.66,可以提高到0.75

4.Maperduce.reduce.memory.mb默认ReduceTask内存上限1g,128m数据对应1g内存原则,适当提高内存到4-6g

5.Mapreduce.reduce.java.opts,控制ReduceTask堆内存大小,和map一样如果内存不够报错oom

6.Mapreduce.reduce.cpu.vcores默认ReduceTask的CPU核数1个,可以提高到2-4个

7.Mapreduce.reduce.maxattempts每个Reduce Task最大重试次数,一旦重拾次数超过认为失败,根据机器性能适当提高

8.Mapreduce.job.reduces.slowstart.completedmaps当MapTask完成的比例达到该值后才会为ReduceTask申请资源。

能不用Reduce尽可能不用


相关文章

ES字段类型与内存管理

ES字段类型与内存管理

一、ES常见字段类型:1、 概述字段是数据存储的最小微粒,根据数据的性质不同将数据分成不同的字段类型,熟悉不同字段类型的特性,对索引的Mapping设计、查询调优都极其重要。2、 关键参数Index:...

nginx配置反向代理某个url

nginx配置反向代理某个url

本文讲的这个漏洞 主要是为了解决漏洞扫描的问题我先介绍下这个漏洞主要是因为访问https://172.16.120.17:18090/ws/v1/cluster/info这个 yarn rest的一个...

PostgreSQL 索引管理

前言索引是关系型数据库离不开的话题,它是数据库中一种快速查询数据的方法。在 SQL 优化中,创建高性能的索引非常重要,本篇文章将对比 MySQL 介绍 PostgreSQL 的索引管理。1. 主键1....

dolphinscheduler单机部署

dolphinscheduler单机部署

官网链接:https://dolphinscheduler.apache.org本次测试版本为:https://dolphinscheduler.apache.org/zh-cn/download/3...

Apache hive 对接达梦数据库

Apache hive 对接达梦数据库

1、背景由于国产化需求,客户需要使用dm数据库作为hive的元数据库。需要进行对应适配2、配置本次使用的环境hive 3.1.3 hadoop 3.2.4 ranger 2.3.0 Spark ...

Hbase映射为Hive外表

Hbase映射为Hive外表

Hbase对应Hive外表(背景:在做数据ETL中,可能原始数据在列式存储Hbase中,这个时候,如果我们想清洗数据,可以考虑把Hbase表映射为Hive的外表,然后使用Hive的HQL来清除处理数据...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。