Spark接入Kerberos交互式命令窗口提交任务
1. Spark-shell
首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务
如果集成了Ranger组件,如果创建的普通用户没有在ranger上面配置权限就会报错权限不足问题
2. Spark-sql
首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务
3. Spark-shell on Yarn
(1)首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务
./spark-shell --master yarn --executor-memory 1G --num-executors 10
4. Spark-sql on Yarn
(1)首先需要使用有操作hdfs文件权限的keytab用户认证,认证上之后可以通过spark-shell交互命令行窗口执行任务
./spark-shell --master yarn --executor-memory 1G --num-executors 10