Linux SSSD同步大量AD用户缓慢

櫰木2个月前50
Linux SSSD同步大量AD用户缓慢
1、背景在使用AD + sssd (ad作为ldap)同步用户,其中AD中存在10000+ 用户,同步时,用户信息获取缓慢,导致cdh的namenode 的rpc 队列打高,服务不正常。id 用户达到...

hadoop纠删码

耀灵2个月前49
hadoop纠删码
纠删码是CDH6/Hadop3引入的新功能,之前的HDFS都是副本方式容错,默认情况下,一个文件有三个副本,可以容忍任意2个副本(Datanode)不可用,是以牺牲空间的代价提供了数据的可用性,带来了...

Flume使用案例之Flume与Flume之间数据传递,多Flume汇总数据到单Flume

楼高2个月前48
目标:...

Flume使用案例之Flume与Flume之间数据传递(单Flume多Channel、Sink)

楼高2个月前79
目标:...

Flume使用案例之实时读取目录到HDFS

楼高2个月前58
目标:...

Flume使用案例之实时读取本地文件到HDFS

楼高2个月前71
...

Flume使用案例之监控端口数据

楼高2个月前74
案例一:监控端口数据...

Kafak顺序写入与数据读取详解

楼高2个月前60
Kafak顺序写入与数据读取详解
生产者(producer)是负责向Kafka提交数据的,Kafka会把收到的消息都写入到硬盘中,它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术,顺序写入和MMFile。...

Kafka副本策略

楼高2个月前51
Kafka副本策略
Kafka的高可靠性的保障来源于其健壮的副本(replication)策略。...

JMS 介绍

楼高2个月前55
JMS 介绍
...

Spark接入Kerberos交互式命令窗口提交任务

楼高2个月前69
Spark接入Kerberos交互式命令窗口提交任务
1. Spark-shell首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务...

HDP-Yarn开启CPU调度和隔离

芒果2个月前68
HDP-Yarn开启CPU调度和隔离
进入到ambari主界面 点击yarn 点击config CPU Scheduling and Isolation 设置为enable...