Linux SSSD同步大量AD用户缓慢
櫰木2个月前50
1、背景在使用AD + sssd （ad作为ldap）同步用户，其中AD中存在10000+ 用户，同步时，用户信息获取缓慢，导致cdh的namenode 的rpc 队列打高，服务不正常。id 用户达到...
hadoop纠删码
耀灵2个月前49
纠删码是CDH6/Hadop3引入的新功能，之前的HDFS都是副本方式容错，默认情况下，一个文件有三个副本，可以容忍任意2个副本（Datanode）不可用，是以牺牲空间的代价提供了数据的可用性，带来了...
Kafak顺序写入与数据读取详解
楼高2个月前60
生产者（producer）是负责向Kafka提交数据的，Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。...
Spark接入Kerberos交互式命令窗口提交任务
楼高2个月前69
1. Spark-shell首先需要使用有操作hdfs文件权限的keytab用户认证，认证上之后可以通过spark-shell交互命令行窗口执行任务...
