python装饰器源代码_一个有用的python装饰器为执行程序加锁

最近在写python项目的时候遇到一个问题

有这样一个python脚本&＃xff1a;

1 脚本功能

A 监控网卡的实时流量,如果该流量超过设定阀值就去增加带宽(购买带宽包)

B 脚本放在 crontab 中&＃xff0c;并且是每分钟执行一次

2  遇到问题

在执行脚本的过程中&＃xff0c;如果一分钟内该程序没有执行完&＃xff0c;就可能会有两个相同的代码同时执行&＃xff0c;导致的问题是 会同时购买两次带宽包&＃xff0c;这样会造成资源的浪费。

3  解决思路

A  可以调整crontab&＃xff0c;增加代码执行的时间(治标不治本)

B  为该程序加锁&＃xff0c;同一时间只允许运行一个监控程序。

4  解决步骤

因此&＃xff0c;怎么为程序加锁&＃xff0c;还要尽量减少对源代码的更改&＃xff0c;是问题的关键&＃xff0c;我这里使用到了python的装饰器。

思路是这样的&＃xff1a;

A 打开一个 xx.pid 文件&＃xff0c;并为这个文件加上锁

B 获取当前执行程序的PID,并写入到 xx.pid文件中

C 执行程序&＃xff0c;执行结束后关闭并且删除该xx.pid文件

5  上代码#!/usr/bin/python

# -*- coding: utf-8 -*-

import fcntl

from functools import wraps

import os

def singleton(pid_filename):

def decorator(f):

&＃64;wraps(f)

def decorated(*args, **kwargs):

pid &＃61; str(os.getpid())

pidfile &＃61; open(pid_filename, &＃39;a&＃43;&＃39;)

try:

#创建一个排他锁,并且所被锁住其他进程不会阻塞

fcntl.flock(pidfile.fileno(), fcntl.LOCK_EX | fcntl.LOCK_NB)

except IOError:

return

pidfile.seek(0)

pidfile.truncate() # 清空文件

pidfile.write(pid)

pidfile.flush()

pidfile.seek(0)

ret &＃61; f(*args, **kwargs)

try:

pidfile.close()

except IOError, err:

# 可能的错误 IOError: [Errno 9] Bad file descriptor

if err.errno !&＃61; 9:

return

os.remove(pid_filename)

return ret

return decorated

return decorator

注意&＃xff1a;

fcntl 仅在 linux系统中使用&＃xff0c;在windows中无效

6  简单用例&＃64;singleton(&＃39;/tmp/add_bandwidth.pid&＃39;)

def add_bandwidth():

pass

7  代码解析

这里使用到了python 的fcntl模块 -- python中给文件加锁

简单示例&＃xff1a;>>> import fcntl

>>> f &＃61; open(&＃39;test.txt&＃39;)

>>> fcntl.flock(f.fileno(),fcntl.LOCK_EX) #对文件加锁

>>> fcntl.flock(f.fileno(),fcntl.LOCK_UN) #对文件解锁

----------------------

fcntl模块 中的flock(fd, operation)&＃xff1a;

参数 fd 表示文件描述符&＃xff1b;

参数 operation 指定要进行的锁操作&＃xff0c;该参数的取值有如下几种&＃xff1a;

operation : 包括&＃xff1a;    fcntl.LOCK_UN  解锁    fcntl.LOCK_EX  排他锁    fcntl.LOCK_SH  共享锁    fcntl.LOCK_NB  非阻塞锁 LOCK_SH 共享锁:所有进程没有写访问权限&＃xff0c;即使是加锁进程也没有。所有进程有读访问权限。 LOCK_EX 排他锁:除加锁进程外其他进程没有对已加锁文件读写访问权限。 LOCK_NB 非阻塞锁:如果指定此参数&＃xff0c;函数不能获得文件锁就立即返回&＃xff0c;否则&＃xff0c;函数会等待获得文件锁。

LOCK_NB可以同LOCK_SH或LOCK_NB进行按位或(|)运算操作。 fcnt.flock(f,fcntl.LOCK_EX|fcntl.LOCK_NB)

注意&＃xff1a;1. 对于文件的 close() 操作会使文件锁失效&＃xff1b;

2. 同理&＃xff0c;进程结束后文件锁失效&＃xff1b;

3. flock() 的 LOCK_EX是“劝告锁”&＃xff0c;系统内核不会强制检查锁的状态&＃xff0c;需要在代码中进行文件操作的地方显式检查才能生效。

详情请查看官方文档&＃xff1a;