Linux 文件锁

庆云2年前技术文章1104


1、背景

Linux 系统定时任务正在执行时,可能会遇到上个周期的任务还没有执行完,这样便会造成相同的任务同一时间有过个任务进程在执行。如果任务有对互斥资源操作时,有可能产生死锁。

2、用法参考

flock 命令,是 linux 的文件锁命令。可以通过一个锁文件,来控制多个任务进程的互斥性。用法如下:

$ flock -h
Usage:
 flock [options] <file|directory> <command> [command args]
 flock [options] <file|directory> -c <command>
 flock [options] <file descriptor number>

Options:
 -s  --shared                      获得共享锁
 -x  --exclusive                   获得排他锁(默认)
 -u  --unlock                      移除锁
 -n  --nonblock                    失败而不等待
 -w  --timeout <secs>              等待一段时间
 -E  --conflict-exit-code <number> 冲突或超时后的退出代码
 -o  --close                       在运行命令前关闭文件描述符
 -c  --command <command>           通过 shell 运行一条命令

 -h, --help                        显示此帮助并退出
 -V, --version                     输出版本信息并退出


3、操作步骤

3.1 任务互斥

*/5 * * * * flock -xn /tmp/receive-ossutil-1.lock -c  /root/rabbitmq-comsumer.sh
*/5 * * * * flock -xn /tmp/receive-ossutil-2.lock -c  /root/rabbitmq-comsumer.sh
*/5 * * * * flock -xn /tmp/receive-ossutil-3.lock -c  /root/rabbitmq-comsumer.sh
  • x 表示文件锁为互斥文件锁,这个参数可以省略,默认即为互斥文件锁。

  • n 表示当有任务执行时,直接退出,符合我们的逾期。

3.2 排队等待

*/10 * * * * flock -w 20 /tmp/my.lock -c /root/rabbitmq-comsumer.sh
  • 排队执行,每个任务等待 20s,超时则退出。

3.3 共享锁

# 共享锁
*/10 * * * * flock -s /tmp/my.lock -c /root/rabbitmq-comsumer.sh

3.4 忽略锁

*/10 * * * * flock -u /tmp/my.lock -c /root/rabbitmq-comsumer.sh
  • 忽略锁,直接执行。

3.5 自定义退出码

*/10 * * * * flock -E 1 -w 20 /tmp/my.lock -c /root/rabbitmq-comsumer.sh

4、注意事项

在自定义退出码时,尽量使用 1 位的数字,当使用多位数字时,会出现不是自定义的其他返回码。

5、结果检查

创建相关定时计划任务后,观察是否符合预期。

相关文章

压测实操--TestDFSIO压测hdfs读写方案

压测实操--TestDFSIO压测hdfs读写方案

TestDFSIO主要是对hdfs的I/O性能进行测试,通过使用MapReduce作业来完成测试,作为并行读写文件进行I/O性能测试。每个map任务用于读或写每个文件,map的输出用于收集与处理文件相...

flume开启jmx加入grafana

部署flume_exporter需要go环境编译配置go环境首先下载go安装包Linux:https://golang.google.cn/dl/解压、添加环境变量tar -zxvf go*.tar....

hive 报 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

hive 报 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

解决办法:关键需要配置两个配置:mapred-site.xml 和 yarn-site.xml下面配置hadoop classpath。先运行shell命令:hadoop classpath添加一个配...

Kubernetes安全--securityContext介绍

securityContext是用来控制容器内的用户权限,你想用什么用户去执行程序或者执行操作等等。1. securityContext介绍安全上下文(Security Context)定义 Pod...

开启kerberos配置HiveServer2负载均衡

开启kerberos配置HiveServer2负载均衡

1.HAProxy配置HiveServer2负载均衡1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置listen stats     bind 0.0.0.0:1...

Kubernetes 网络插件

Kubernetes 自身并不提供网络解决方案,允许托管使用第三方的网络解决方案。flannelcalicocanelkube-router......各种 CNI 插件的解决方案: 虚拟网桥(bri...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。