Mac安装Hadoop文档-保姆级操作(一)

芒果2年前技术文章585


首先配置ssh环境
在Mac下如果想使用Hadoop,必须要配置ssh环境, 如果不执行这一步,后面启动hadoop时会出现Connection refused连接被拒绝的错误。
首先终端命令框输入:
ssh localhost
报错 Connection refused按照如下操作
表示当前用户没有权限,更改设置如下:进入系统偏好设置 --> 共享 --> 勾选远程登录->勾选所有用户,如下图:


F4F3FE86-459B-4DAA-8E6A-C1D7501F8AD0.png

再次输入ssh localhost会提示输入密码,这个时候要重新配置一下ssh免密登录。
进入ssh的目录:
cd ~/.ssh
进行ls操作
会看到~/.ssh目录下有两个文件:
①私钥:id_rsa
②公钥:id_rsa.pub
将id_rsa.pub中的内容拷贝到 authorized_keys中:
cat id_rsa.pub >> authorized_keys
安装与配置Hadoop
使用Homebrew安装Hadoop-没有安装Homebrew先安装在终端执行
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
点击回车,输入开机密码即可安装,此过程比较慢,请耐心等待,下载源按需自选。
输入brew -v测试一下安装是否成功
brew -v


配置环境变量
vim ~/.bashrc
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk-11.jdk/Contents/Home"
export PATH="$PATH:$JAVA_HOME/bin"
export HADOOP_HOME="/opt/homebrew/Cellar/hadoop/3.3.6/libexec"
安装Hadoop
使用brew命令安装(这里没有指定版本,安装的是最新版的hadoop)
brew install hadoop

如图 完成后会显示安装目录以及安装的版本

image.png


标签: 大数据运维

相关文章

kafka模拟消费报错 ISR缺失 指定offset提取数据失败场景

kafka模拟消费报错 ISR缺失 指定offset提取数据失败场景

测试集群信息kafka版本:3.0.0172.16.120.236  kafka-id: 0172.16.121.150  kafka-id: 1172.16.121.225  kafka-id: 2...

fio磁盘io压测

fio磁盘io压测

fio tar包地址:https://brick.kernel.dk/snaps/yum 安装gcc、fio使用到的ibaio-devel 引擎yum install -y gcc yum inst...

dolphinscheduler部署-FAQ

dolphinscheduler部署-FAQ

如果是cdh集群会遇到一个问题5678端口被占用这是因为cdh的agent用了5678那我们改下配置文件文件:/opt/apache-dolphinscheduler-3.1.8-bin/st...

haproxy服务无法正常启动

haproxy服务无法正常启动

【局点信息】测试环境【集群信息】【问题现象】haproxy设置配置文件后,无法正常启动,查看服务状态显示失败配置增加内容#增加如下配置 listen ApiApplicationServer   ...

大数据集群监控配置操作指导(一)prometheus+grafana部署

大数据集群监控配置操作指导(一)prometheus+grafana部署

1.prometheus+grafana部署(单独部署到一台服务器。4c8g。系统盘300G。操作系统建议7.6到7.9)1.1下载prometheus和grafana的二进制包mkdir /opt/...

CDP实操--集群扩容

CDP实操--集群扩容

一、前提准备工作1.确保OS的yum源可以正常使用,通过yum repolist命令可以查看到匹配的OS的所有包2.确保Cloudera Manager的yum源运行正常3.hosts文件配置,需要将...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。