Spark接入Kerberos交互式命令窗口提交任务

楼高2年前技术文章815

1. Spark-shell

首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务

image.png

如果集成了Ranger组件,如果创建的普通用户没有在ranger上面配置权限就会报错权限不足问题

image.png

2. Spark-sql

首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务

3. Spark-shell on Yarn

(1)首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务

(2)cd $SPARK_HOME/bin

        ./spark-shell --master yarn --executor-memory 1G --num-executors 10

4. Spark-sql on Yarn

(1)首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务

(2)cd $SPARK_HOME/bin

        ./spark-shell --master yarn --executor-memory 1G --num-executors 10

相关文章

MySQL运维实战(2.2)忘记密码如何处理

如果忘记了一个普通用户的密码,可以使用管理员账号登录,修改其他用户的密码。但是如果所有管理员账号的密码都忘记了,应该怎么处理呢?如果忘记root密码,可以使用skip-grant-tables参数启动...

EMR yarn集成Cgroup

EMR yarn集成Cgroup

CGroups(Control Groups)是Linux内核的一个资源隔离功能,限制/隔离/统计进程的资源使用,包括CPU/内存/磁盘IO/网络等资源。YARN中也集成了CGroups的功能,使得N...

PG常用命令

1、连库相关#连库 $ psql -h <hostname or ip> -p <端口> [数据库名称] [用户名称] #连库并执行命令 $ psql -h <ho...

某客户ERP华为云502错误案例

某客户ERP华为云502错误案例

1、客户反馈系统出现502错误图1上面的截图,我们大致可以看到浏览器显示的502错误,但是我们还有获知更多的信息。通过沟通我们可以确定:此功能为新上线功能,上线后一直是访问502,但是开发又找不到相关...

Clickhouse数据复制的原理与实践

Clickhouse数据复制的原理与实践

说明在clickhouse中,如果我们想实现数据多副本存储,以提高数据可用率和查询性能,可以使用复制表。支持数据复制的表引擎包括:ReplicatedMergeTreeReplicatedSummin...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。