Mac安装Hadoop文档-保姆级操作(一)

芒果2年前技术文章667


首先配置ssh环境
在Mac下如果想使用Hadoop,必须要配置ssh环境, 如果不执行这一步,后面启动hadoop时会出现Connection refused连接被拒绝的错误。
首先终端命令框输入:
ssh localhost
报错 Connection refused按照如下操作
表示当前用户没有权限,更改设置如下:进入系统偏好设置 --> 共享 --> 勾选远程登录->勾选所有用户,如下图:


F4F3FE86-459B-4DAA-8E6A-C1D7501F8AD0.png

再次输入ssh localhost会提示输入密码,这个时候要重新配置一下ssh免密登录。
进入ssh的目录:
cd ~/.ssh
进行ls操作
会看到~/.ssh目录下有两个文件:
①私钥:id_rsa
②公钥:id_rsa.pub
将id_rsa.pub中的内容拷贝到 authorized_keys中:
cat id_rsa.pub >> authorized_keys
安装与配置Hadoop
使用Homebrew安装Hadoop-没有安装Homebrew先安装在终端执行
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
点击回车,输入开机密码即可安装,此过程比较慢,请耐心等待,下载源按需自选。
输入brew -v测试一下安装是否成功
brew -v


配置环境变量
vim ~/.bashrc
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk-11.jdk/Contents/Home"
export PATH="$PATH:$JAVA_HOME/bin"
export HADOOP_HOME="/opt/homebrew/Cellar/hadoop/3.3.6/libexec"
安装Hadoop
使用brew命令安装(这里没有指定版本,安装的是最新版的hadoop)
brew install hadoop

如图 完成后会显示安装目录以及安装的版本

image.png


标签: 大数据运维

相关文章

正式发布 | 《云运维服务白皮书》开放下载!

正式发布 | 《云运维服务白皮书》开放下载!

在全球数字化变革的背景下,为适应数字经济环境下企业生存发展和市场变化的需要,企业进行主动的、系统性、整体性的数字化转型升级。大数据、云计算、人工智能、区块链等新一代信息通信技术为企业的数字化转型提供了...

大数据监控系列(一)——Prometheus+Grafana监控概述

大数据监控系列(一)——Prometheus+Grafana监控概述

1 概述这是介绍Prometheushe和Grafana主要是为了监控大数据产品,数栈平台也是使用Prometheushe+Grafana作为底层大数据组件的监控,并且均有配置模板,导入即在Grafa...

ES运维(五)聚合分析流程及精准度

ES运维(五)聚合分析流程及精准度

1、 概述ES是一个近实时的搜索引擎,提供近实时海量数据的聚合分析功能,但这个海量数据聚合分析是会损失一定的精准度来满足实时性能需要的。 2、 分布式系统的近似统计算法如下图,在分布式数据分...

CDH实操--hive高可用

CDH实操--hive高可用

前言在CDH中,hive metastore、hiveserver2若角色单实例部署,或者部署多个实例但是连接配置任选其一的话,均存在单点问题,一旦实例故障就会影响业务稳定;这时我们就好考虑高可用部署...

HBase导出表和备份表操作

HBase导出表和备份表操作

HBase提供了几种导出数据的方式,包括使用HBase自带的工具和使用HBase的API。本文主要是讲的使用HBase自带的工具进行导出首先我们创建一个表 插入一些数据hbase shelllistc...

磁盘分盘脚本分享

磁盘分区脚本名称:mg_fdisk.sh#!/bin/bashif [ "$#" -ne 1 ]; then  echo "请传入磁盘参数"  exit 1fidisk=$1# 检查磁盘是否存在if...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。