Mac安装Hadoop文档-保姆级操作(一)

芒果1年前技术文章403


首先配置ssh环境
在Mac下如果想使用Hadoop,必须要配置ssh环境, 如果不执行这一步,后面启动hadoop时会出现Connection refused连接被拒绝的错误。
首先终端命令框输入:
ssh localhost
报错 Connection refused按照如下操作
表示当前用户没有权限,更改设置如下:进入系统偏好设置 --> 共享 --> 勾选远程登录->勾选所有用户,如下图:


F4F3FE86-459B-4DAA-8E6A-C1D7501F8AD0.png

再次输入ssh localhost会提示输入密码,这个时候要重新配置一下ssh免密登录。
进入ssh的目录:
cd ~/.ssh
进行ls操作
会看到~/.ssh目录下有两个文件:
①私钥:id_rsa
②公钥:id_rsa.pub
将id_rsa.pub中的内容拷贝到 authorized_keys中:
cat id_rsa.pub >> authorized_keys
安装与配置Hadoop
使用Homebrew安装Hadoop-没有安装Homebrew先安装在终端执行
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
点击回车,输入开机密码即可安装,此过程比较慢,请耐心等待,下载源按需自选。
输入brew -v测试一下安装是否成功
brew -v


配置环境变量
vim ~/.bashrc
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk-11.jdk/Contents/Home"
export PATH="$PATH:$JAVA_HOME/bin"
export HADOOP_HOME="/opt/homebrew/Cellar/hadoop/3.3.6/libexec"
安装Hadoop
使用brew命令安装(这里没有指定版本,安装的是最新版的hadoop)
brew install hadoop

如图 完成后会显示安装目录以及安装的版本

image.png


标签: 大数据运维

相关文章

hive 报 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

hive 报 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

解决办法:关键需要配置两个配置:mapred-site.xml 和 yarn-site.xml下面配置hadoop classpath。先运行shell命令:hadoop classpath添加一个配...

HDP实操--NameNode开启高可用

HDP实操--NameNode开启高可用

为了确定在namenode组件失败后集群中有其他的namenode可以工作,需要对hdp集群配置高可用,当前我们配置的非安全集群的高可用。前置条件:(1)确保你的集群至少有3个节点并且至少有3个Apa...

Gartner权威报告解读|应用可观测性列为2023年重要战略技术趋势!

Gartner于今日发布企业机构在2023年需要探索的十大战略技术趋势。Gartner杰出研究副总裁Frances Karamouzis表示:“为了在经济动荡时期增加企业机构的盈利,首席信息官和IT高...

内存--模拟内存打满

1 tmpfs介绍tmpfs是一种虚拟内存文件系统,正如这个定义它最大的特点就是它的存储空间在VM里面     VM是由linux内核里面的vm子系统管理的东...

CDH时钟同步问题

CDH时钟同步问题

首先执行如下命令:查看chronyd是否启动systemctl status chronyd如果没启动执行如下命令启动systemctl restart chronyd每台检查时间状态chronyc...

Hive 重新编译-解决Tez JobName的问题

Hive 重新编译-解决Tez JobName的问题

本文采用linux编译首先下载源码https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-src.tar.gz源码位置ql/src/jav...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。