spark配置任务日志(Client模式& Cluster模式)

南墨2年前技术文章1874

在Spark中,日志级别可以通过log4j.properties或log4j.xml文件来配置。对于spark-submit命令启动的应用程序,可以通过以下两种方式来修改日志级别:

对于Client模式,可以通过--conf选项来指定日志级别,例如:

spark-submit --class com.xxx.App --master yarn --deploy-mode client --conf spark.driver.extraJavaOptions="-Dlog4j.configuration=file:/path/to/log4j.properties" /path/to/app.jar
在这个例子中,设置了Spark应用程序的日志级别为file:/path/to/log4j.properties中指定的级别。

对于Cluster模式,可以通过--files选项来上传log4j.properties文件到HDFS,然后通过--conf选项来指定日志级别,例如:

spark-submit --class com.xxx.App --master yarn --deploy-mode cluster --files /path/to/log4j.properties#log4j.properties --conf spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties /path/to/app.jar
在这个例子中,log4j.properties文件被上传到HDFS上,然后在--conf选项中指定了日志级别为log4j.properties中指定的级别。

需要注意的是,对于Client模式和Cluster模式,修改日志级别的方式是不同的。对于Client模式,可以直接指定spark.driver.extraJavaOptions来修改日志级别。而对于Cluster模式,则需要将log4j.properties文件上传到HDFS上,并在执行命令时指定相应的参数来修改日志级别。此外,应该确保log4j.properties文件中的配置项与您想要的日志级别相符合,以确保日志输出的正确性。

相关文章

PG体系结构(三)

PG体系结构(三)

四、物理结构4.1 软件安装目录bin             //二进制可执行文件 include         //头文件目录 lib             //动态库文件 share ...

bucket跨域问题处理

bucket跨域问题处理

问题描述OSS bucket 访问存在跨域问题问题处理查看oss 能否针对整个bucket设置no-cache吗核实目前阿里云后台只支持单个文件的HTTP头设置,不支持批量设置,如果有多个文件或者后续...

Hadoop3.2.4纠删码实操(三)

Hadoop3.2.4纠删码实操(三)

1、纠删码实操1.在HDFS中建立以下三个目录,并都设置为XOR-2-1-1024k策略。[root@hd2 hadoop]# hadoop fs -mkdir /ec_xor_s SLF4J: C...

Flink sql 集成hive metastore对接s3存储

1、hive metastore使用s3如何适配1、在flink conf目录中添加core-site.xml和hive-site.xml<?xml version="1.0" encoding...

Yarn界面详解

Yarn界面详解

1.Active Nodes:表示Yarn集群管理的节点的个数,其实就是NodeManager的个数,集群有2个NodeManager从配置中可以看到每一个NodeManager管理的内存大小是163...

Hbase2.x 使用hbck2

Hbase2.x 使用hbck2

1、背景默认情况下apache hbase 使用hbck2时,无法使用-j 来加载hbck2的jar包,无法进行修复2、解决办法是由于默认情况下只使用自带的hbase hbck修复命令,大部分功能在2...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。