Linux 文件锁

庆云3年前技术文章1271


1、背景

Linux 系统定时任务正在执行时,可能会遇到上个周期的任务还没有执行完,这样便会造成相同的任务同一时间有过个任务进程在执行。如果任务有对互斥资源操作时,有可能产生死锁。

2、用法参考

flock 命令,是 linux 的文件锁命令。可以通过一个锁文件,来控制多个任务进程的互斥性。用法如下:

$ flock -h
Usage:
 flock [options] <file|directory> <command> [command args]
 flock [options] <file|directory> -c <command>
 flock [options] <file descriptor number>

Options:
 -s  --shared                      获得共享锁
 -x  --exclusive                   获得排他锁(默认)
 -u  --unlock                      移除锁
 -n  --nonblock                    失败而不等待
 -w  --timeout <secs>              等待一段时间
 -E  --conflict-exit-code <number> 冲突或超时后的退出代码
 -o  --close                       在运行命令前关闭文件描述符
 -c  --command <command>           通过 shell 运行一条命令

 -h, --help                        显示此帮助并退出
 -V, --version                     输出版本信息并退出


3、操作步骤

3.1 任务互斥

*/5 * * * * flock -xn /tmp/receive-ossutil-1.lock -c  /root/rabbitmq-comsumer.sh
*/5 * * * * flock -xn /tmp/receive-ossutil-2.lock -c  /root/rabbitmq-comsumer.sh
*/5 * * * * flock -xn /tmp/receive-ossutil-3.lock -c  /root/rabbitmq-comsumer.sh
  • x 表示文件锁为互斥文件锁,这个参数可以省略,默认即为互斥文件锁。

  • n 表示当有任务执行时,直接退出,符合我们的逾期。

3.2 排队等待

*/10 * * * * flock -w 20 /tmp/my.lock -c /root/rabbitmq-comsumer.sh
  • 排队执行,每个任务等待 20s,超时则退出。

3.3 共享锁

# 共享锁
*/10 * * * * flock -s /tmp/my.lock -c /root/rabbitmq-comsumer.sh

3.4 忽略锁

*/10 * * * * flock -u /tmp/my.lock -c /root/rabbitmq-comsumer.sh
  • 忽略锁,直接执行。

3.5 自定义退出码

*/10 * * * * flock -E 1 -w 20 /tmp/my.lock -c /root/rabbitmq-comsumer.sh

4、注意事项

在自定义退出码时,尽量使用 1 位的数字,当使用多位数字时,会出现不是自定义的其他返回码。

5、结果检查

创建相关定时计划任务后,观察是否符合预期。

相关文章

hbase开启thrift进程(ThriftServer服务)

hbase开启thrift进程(ThriftServer服务)

简介:Hbase是目前比较火的列存储数据库,由于Hbase是用Java写的,因此它原生地提供了Java接口,对非Java程序人员,它提供了thrift接口服务器。1.启动thrift-server要使...

Yarn调度器对比

1)Hadoop调度器重要分为三类:FIFO 、Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器)。Apache默认的资源调度器是容量调度器;CDH...

大数据基础之HBase入门介绍

大数据基础之HBase入门介绍

一、HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HB...

helm简介

helm简介

一、Helm 是什么在没使用 helm 之前,向 kubernetes 部署应用,我们要依次部署 deployment、svc 等,步骤较繁琐。况且随着很多项目微服务化,复杂的应用在容器中部署以及管理...

Sentry管理Hive目录acl -setacl不生效

Sentry管理Hive目录acl -setacl不生效

CDH在启动Sentry后/user/hive/warehouse这个目录 hdfs手动setacl会不生效首先确保hdfs参数dfs.namenode.acls.enabled=true;还有另一个...

大数据集群部署规划(三)节点选配方案

节点部署原则适用场景组网规则管理节点、控制节点和数据节点分开部署(此方案至少需要8个节点,manager为部署商业化大数据集群时所需例如:hdp,cdh等)core × 11 + worker × n...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。