spark配置任务日志(Client模式& Cluster模式)

南墨2年前技术文章2076

在Spark中,日志级别可以通过log4j.properties或log4j.xml文件来配置。对于spark-submit命令启动的应用程序,可以通过以下两种方式来修改日志级别:

对于Client模式,可以通过--conf选项来指定日志级别,例如:

spark-submit --class com.xxx.App --master yarn --deploy-mode client --conf spark.driver.extraJavaOptions="-Dlog4j.configuration=file:/path/to/log4j.properties" /path/to/app.jar
在这个例子中,设置了Spark应用程序的日志级别为file:/path/to/log4j.properties中指定的级别。

对于Cluster模式,可以通过--files选项来上传log4j.properties文件到HDFS,然后通过--conf选项来指定日志级别,例如:

spark-submit --class com.xxx.App --master yarn --deploy-mode cluster --files /path/to/log4j.properties#log4j.properties --conf spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties /path/to/app.jar
在这个例子中,log4j.properties文件被上传到HDFS上,然后在--conf选项中指定了日志级别为log4j.properties中指定的级别。

需要注意的是,对于Client模式和Cluster模式,修改日志级别的方式是不同的。对于Client模式,可以直接指定spark.driver.extraJavaOptions来修改日志级别。而对于Cluster模式,则需要将log4j.properties文件上传到HDFS上,并在执行命令时指定相应的参数来修改日志级别。此外,应该确保log4j.properties文件中的配置项与您想要的日志级别相符合,以确保日志输出的正确性。

相关文章

 Atlas架构与原理

Atlas架构与原理

一、总体架构Atlas 是一个可伸缩且功能丰富的数据管理系统,深度集成了 Hadoop 大数据组件。简单理解就是一个 跟 Hadoop 关系紧密的,可以用来做元数据管理的一个系统,整个结构图如下所示:...

MySQL运维实战之ProxySQL(9.10)proxysql监控

MySQL运维实战之ProxySQL(9.10)proxysql监控

stats数据库从stats数据库中可以查到proxysql一些内部组件的状态,如内存使用情况、连接池信息、会话信息、SQL执行状态等。mysql> show tables&...

CDP实操--集群配置Kerberos

CDP实操--集群配置Kerberos

1.1检查IPA设置以及配置Kerberos前提条件登录IPA Server在services页面里都是ipa自带的服务,集群配置完kereros后,这里会增加集群里各项hadoop服务。在host页...

SpringBootWeb 篇-深入了解 SpringBoot + Vue 的前后端分离项目部署上线与 Nginx 配置文件结构(3)

SpringBootWeb 篇-深入了解 SpringBoot + Vue 的前后端分离项目部署上线与 Nginx 配置文件结构(3)

4.0 SpringBoot 后端代码进行打包上传服务器        将 SpringBoot 项目进行打包:      &nb...

更改默认StorageClass

为什么要更改默认StorageClass根据安装方式的不同,你的Kubernetes集群可以使用标记为默认值的现有StorageClass进行部署。然后,这个默认的StorageClass用于动态地为...

mcasttest-tool组播检测工具

mcasttest-tool组播检测工具

检测组播mcasttest-tool是oracle组播检测工具,组播是oracle 11.2.0.2开始的新功能1、上传mcasttest工具解压并授权[root@rac1 soft]# cd /u0...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。