Kafka 单条日志传输大小
南墨1年前772
kafka 对于消息体的大小默认为单条最大值是1M 但是在我们应用场景中, 常常会出现一条消息大于1M，如果不对kafka 进行配置。则会出现生产者无法将消息推送到kafka 或消费者无法去消费kaf...
apache Kyuubi部署及对接hive
櫰木1年前1695
1、背景客户重度使用spark sql，但是使用spark thriftserver存在各种各样的问题，我们选择使用kyuubi来替代spark thriftserver的使用2、安装包下载...
热点现象（数据倾斜）怎么产生的，以及解决方法有哪些
南墨1年前535
热点现象：某个小的时段内，对HBase 的读写请求集中到极少数的Region 上，导致这些region所在的RegionServer 处理请求量骤增，负载量明显偏大，而其他的RgionServer明显...
spark与mr的异同
南墨1年前561
1.MR：抽象层次低，需要使用手工代码来完成程序编写，使用上难以上手；Spark：Spark 采用RDD 计算模型，简单容易上手。2.MR：只提供map 和reduce 两个操作，表达能力欠缺；Spa...
ranger审计Solr部署
恩慈1年前503
安装前准备1.1. 创建用户和用户组groupadd solruseradd -g solr solr1.2. 添加环境变量vi /etc/profile export SOLR_HOME=/opt/...
Ranger部署
恩慈1年前503
安装前准备1.1. 创建用户和用户组groupadd rangeruseradd -g ranger ranger1.2. 数据库配置mysql -uroot -p -hxxx.xxx.xxx.13 ...
Ldap高可用部署
恩慈1年前473
Ldap配置高可用两个节点上均执行mkdir /data/ldapcd /data/ldap1.1. 添加mod_syncprov.ldif文件vi mod_syncprov.ldif 内容如下：ob...
Ldap部署
恩慈1年前355
安装ldapyum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql...
Flink部署
恩慈1年前341
安装前准备1.1. 添加环境变量vi /etc/profile export FLINK_HOME=/opt/flinkexport PATH=$PATH:$FLINK_HOME/bin source...
数据建模用的哪些模型？
南墨1年前388
星型模型星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星形模式的维度建模由一个事实表和一组维表成，且具有以下特点：a....
nginx配置反向代理某个url
芒果1年前662
本文讲的这个漏洞 主要是为了解决漏洞扫描的问题我先介绍下这个漏洞主要是因为访问https://172.16.120.17:18090/ws/v1/cluster/info这个 yarn rest的一个...