Kafak顺序写入与数据读取详解

楼高1年前817
Kafak顺序写入与数据读取详解
生产者(producer)是负责向Kafka提交数据的,Kafka会把收到的消息都写入到硬盘中,它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术,顺序写入和MMFile。...

Kafka副本策略

楼高1年前348
Kafka副本策略
Kafka的高可靠性的保障来源于其健壮的副本(replication)策略。...

JMS 介绍

楼高1年前397
JMS 介绍
...

Spark接入Kerberos交互式命令窗口提交任务

楼高1年前552
Spark接入Kerberos交互式命令窗口提交任务
1. Spark-shell首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务...

HDP-Yarn开启CPU调度和隔离

芒果1年前434
HDP-Yarn开启CPU调度和隔离
进入到ambari主界面 点击yarn 点击config CPU Scheduling and Isolation 设置为enable...

HDFS Fsimage分析磁盘目录(文件级别)

芒果1年前633
HDFS Fsimage分析磁盘目录(文件级别)
首先获取fsimage信息...

dolphinscheduler部署-FAQ

芒果1年前594
dolphinscheduler部署-FAQ
如果是cdh集群会遇到一个问题5678端口被占用这是因为cdh的agent用了5678...

dolphinscheduler单机部署

芒果1年前770
dolphinscheduler单机部署
官网链接:https://dolphinscheduler.apache.org本次测试版本为:https://dolphinscheduler.apache.org/zh-cn/download/3...

Mac安装Hadoop文档-保姆级操作(二)

芒果1年前408
Mac安装Hadoop文档-保姆级操作(二)
配置hadoop进入hadoop的目录:...

Mac安装Hadoop文档-保姆级操作(一)

芒果1年前405
Mac安装Hadoop文档-保姆级操作(一)
首先配置ssh环境在Mac下如果想使用Hadoop,必须要配置ssh环境, 如果不执行这一步,后面启动hadoop时会出现Connection refused连接被拒绝的错误。首先终端命令框输入:...

离线安装Kerberos

芒果1年前1726
首先下载kerberos客户端所需rpm包在网站https://pkgs.org/搜索以下3个rpm包:...

MySQL的数据拆分

太阳1年前471
MySQL的数据拆分
...