Ranger-hive插件部署
恩慈4个月前130
解压插件...
FQA-Alluxo web ui出现Server Configuration Check failed
櫰木4个月前91
1、背景在部署Alluxio高可用集群后，alluxio web页面出现Server Configuration Check failed...
Hbase 存储相关知识
南墨4个月前75
1.Hbase的写流程Client 写入-> 存入MemStore，一直到MemStore 满-> Flush 成一个StoreFile，直至增长到一定阈值-> 触发Compact...
Kafka 单条日志传输大小
南墨4个月前182
kafka 对于消息体的大小默认为单条最大值是1M 但是在我们应用场景中, 常常会出现一条消息大于1M，如果不对kafka 进行配置。则会出现生产者无法将消息推送到kafka 或消费者无法去消费kaf...
apache Kyuubi部署及对接hive
櫰木4个月前442
1、背景客户重度使用spark sql，但是使用spark thriftserver存在各种各样的问题，我们选择使用kyuubi来替代spark thriftserver的使用2、安装包下载...
热点现象（数据倾斜）怎么产生的，以及解决方法有哪些
南墨4个月前126
热点现象：某个小的时段内，对HBase 的读写请求集中到极少数的Region 上，导致这些region所在的RegionServer 处理请求量骤增，负载量明显偏大，而其他的RgionServer明显...
spark与mr的异同
南墨4个月前156
1.MR：抽象层次低，需要使用手工代码来完成程序编写，使用上难以上手；Spark：Spark 采用RDD 计算模型，简单容易上手。2.MR：只提供map 和reduce 两个操作，表达能力欠缺；Spa...
ranger审计Solr部署
恩慈4个月前140
安装前准备1.1. 创建用户和用户组groupadd solruseradd -g solr solr1.2. 添加环境变量vi /etc/profile export SOLR_HOME=/opt/...
Ranger部署
恩慈4个月前106
安装前准备1.1. 创建用户和用户组groupadd rangeruseradd -g ranger ranger1.2. 数据库配置mysql -uroot -p -hxxx.xxx.xxx.13 ...