spark配置任务日志(Client模式& Cluster模式)

南墨2年前技术文章1935

在Spark中,日志级别可以通过log4j.properties或log4j.xml文件来配置。对于spark-submit命令启动的应用程序,可以通过以下两种方式来修改日志级别:

对于Client模式,可以通过--conf选项来指定日志级别,例如:

spark-submit --class com.xxx.App --master yarn --deploy-mode client --conf spark.driver.extraJavaOptions="-Dlog4j.configuration=file:/path/to/log4j.properties" /path/to/app.jar
在这个例子中,设置了Spark应用程序的日志级别为file:/path/to/log4j.properties中指定的级别。

对于Cluster模式,可以通过--files选项来上传log4j.properties文件到HDFS,然后通过--conf选项来指定日志级别,例如:

spark-submit --class com.xxx.App --master yarn --deploy-mode cluster --files /path/to/log4j.properties#log4j.properties --conf spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties /path/to/app.jar
在这个例子中,log4j.properties文件被上传到HDFS上,然后在--conf选项中指定了日志级别为log4j.properties中指定的级别。

需要注意的是,对于Client模式和Cluster模式,修改日志级别的方式是不同的。对于Client模式,可以直接指定spark.driver.extraJavaOptions来修改日志级别。而对于Cluster模式,则需要将log4j.properties文件上传到HDFS上,并在执行命令时指定相应的参数来修改日志级别。此外,应该确保log4j.properties文件中的配置项与您想要的日志级别相符合,以确保日志输出的正确性。

相关文章

mysql binlog文件删除情况下恢复主从

mysql binlog文件删除情况下恢复主从

1、对主库的数据进行全库dump2、删除自建的从库数据库3、将主库数据source到从库(1)将全库dump文件传到从库服务器节点scp ./backup_2023-12-08_14_49_17.sq...

CDH实操--hive高可用

CDH实操--hive高可用

前言在CDH中,hive metastore、hiveserver2若角色单实例部署,或者部署多个实例但是连接配置任选其一的话,均存在单点问题,一旦实例故障就会影响业务稳定;这时我们就好考虑高可用部署...

Linux下的IO统计工具:iostat,iotop

Linux下的IO统计工具:iostat,iotop

iostat      监视系统输入输出设备和CPU的使用情况。iostat命令 被用于监视系统输入输出设备和CPU的使用情况。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。同vmst...

image.png

VMware Vsphere创建虚拟机

一、上传系统镜像打开数据中心 2、新建文件夹,存放镜像3、点击上传文件按钮    4、找到本地镜像上传二、安装虚拟机1、创建虚拟机 2、选择创建类型 3、为虚拟机命名并选择虚拟机安装的所在位置4、选择...

ORC、Parquet 等列式存储的优点

ORC 和Parquet 都是高性能的存储方式,这两种存储格式总会带来存储和性能上的提升Parquet:1. Parquet 支持嵌套的数据模型,类似于Protocol Buffers,每一个数据模型...

Jenkinsfile说明

Jenkinsfile说明

当我们在使用jenkins进行CI/CD的时候,简单的内容我们可以通过jenkins页面来实现配置。但是如果有复杂的需求还是需要通过jenkinsfile来实现jenkinsfile简单介绍Jenki...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。