热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Python中的ThreadLocal变量

Werkzeug作为一个WSGI工具库,由于一些方面的考虑,并没有直接使用python内置的ThreadLocal类,而是自己实现了一系列Local类。包括简单的Local,以及在

Werkzeug 作为一个 WSGI 工具库,由于一些方面的考虑,并没有直接使用python内置的ThreadLocal类,而是自己实现了一系列Local类。包括简单的Local,以及在此基础上实现的LocalStack,LocalManager 和 LocalProxy。接下来我们一起来看看这些类的使用方式,设计的初衷,以及具体的实现技巧。

Local 类的设计

Werkzeug 的设计者认为python自带的ThreadLocal并不能满足需求,主要因为下面两个原因:

Werkzeug 主要用“ThreadLocal”来满足并发的要求,python 自带的ThreadLocal只能实现基于线程的并发。而python中还有其他许多并发方式,比如常见的协程(greenlet),因此需要实现一种能够支持协程的Local对象。

WSGI不保证每次都会产生一个新的线程来处理请求,也就是说线程是可以复用的(可以维护一个线程池来处理请求)。这样如果werkzeug 使用python自带的ThreadLocal,一个“不干净(存有之前处理过的请求的相关数据)”的线程会被用来处理新的请求。

为了解决这两个问题,werkzeug 中实现了Local类。Local对象可以做到线程和协程之间数据的隔离,此外,还要支持清理某个线程或者协程下的数据(这样就可以在处理一个请求之后,清理相应的数据,然后等待下一个请求的到来)。

具体怎么实现的呢,思想其实特别简单,我们在深入理解Python中的ThreadLocal变量(上)一文的最后有提起过,就是创建一个全局字典,然后将线程(或者协程)标识符作为key,相应线程(或协程)的局部数据作为 value。这里 werkzeug 就是按照上面思路进行实现,不过利用了python的一些黑魔法,最后提供给用户一个清晰、简单的接口。

具体实现

Local 类的实现在 werkzeug.local 中,以 8a84b62 版本的代码进行分析。通过前两篇对ThreadLocal的了解,我们已经知道了Local对象的特点和使用方法。所以这里不再给出Local对象的本文来源gao([email protected]@#码(网使用例子,我们直接看代码。

class Local(object):     __slots__ = ('__storage__', '__ident_func__')          def __init__(self):         object.__setattr__(self, '__storage__', {})         object.__setattr__(self, '__ident_func__', get_ident)     ...

由于可能有大量的Local对象,为了节省Local对象占用的空间,这里使用 __slots__ 写死了Local可以拥有的属性:

__storage__: 值为一个字典,用来保存实际的数据,初始化为空;

__ident_func__:值为一个函数,用来找到当前线程或者协程的标志符。

由于Local对象实际的数据保存在__storage__中,所以对Local属性的操作其实是对__storage__的操作。对于获取属性而言,这里用魔术方法__getattr__拦截__storage__ 和 __ident_func__以外的属性获取,将其导向__storage__存储的当前线程或协程的数据。而对于属性值的set或者del,则分别用__setattr__和__setattr__来实现(这些魔术方法的介绍见属性控制)。关键代码如下所示:

def __getattr__(self, name):     try:         return self.__storage__[self.__ident_func__()][name]     except KeyError:         raise AttributeError(name)  def __setattr__(self, name, value):     ident = self.__ident_func__()     storage = self.__storage__     try:         storage[ident][name] = value     except KeyError:         storage[ident] = {name: value}  def __delattr__(self, name):     try:         del self.__storage__[self.__ident_func__()][name]     except KeyError:         raise AttributeError(name)

假设我们有ID为1,2, … , N 的N个线程或者协程,每个都用Local对象保存有自己的一些局部数据,那么Local对象的内容如下图所示:

此外,Local类还提供了__release_local__方法,用来释放当前线程或者协程保存的数据。

Local 扩展接口

Werkzeug 在 Local 的基础上实现了 LocalStack 和 LocalManager,用来提供更加友好的接口支持。

LocalStack

LocalStack通过封装Local从而实现了一个线程(或者协程)独立的栈结构,注释里面有具体的使用方法,一个简单的使用例子如下

ls = LocalStack() ls.push(12) print ls.top    # 12 print ls._local.__storage__ # {140735190843392: {'stack': [12]}}

LocalStack 的实现比较有意思,它将一个Local对象作为自己的属性_local,然后定义接口push, pop 和 top 方法进行相应的栈操作。这里用 _local.__storage__._local.__ident_func__() 这个list来模拟栈结构。在接口push, pop和top中,通过操作这个list来模拟栈的操作,需要注意的是在接口函数内部获取这个list时,不用像上面黑体那么复杂,可以直接用_local的getattr()方法即可。以 push 函数为例,实现如下:

def push(self, obj):     """Pushes a new item to the stack"""     rv = getattr(self._local, 'stack', None)     if rv is None:         self._local.stack = rv = []     rv.append(obj)     return rv

pop 和 top 的实现和一般栈类似,都是对 stack = getattr(self._local, 'stack', None) 这个列表进行相应的操作。此外,LocalStack还允许我们自定义__ident_func__,这里用 内置函数 property 生成了描述器,封装了__ident_func__的get和set操作,提供了一个属性值__ident_func__作为接口,具体代码如下:

def _get__ident_func__(self):     return self._local.__ident_func__  def _set__ident_func__(self, value):     object.__setattr__(self._local, '__ident_func__', value) __ident_func__ = property(_get__ident_func__, _set__ident_func__) del _get__ident_func__, _set__ident_func__

LocalManager

Local 和 LocalStack 都是线程或者协程独立的单个对象,很多时候我们需要一个线程或者协程独立的容器,来组织多个Local或者LocalStack对象(就像我们用一个list来组织多个int或者string类型一样)。

Werkzeug实现了LocalManager,它通过一个list类型的属性locals来存储所管理的Local或者LocalStack对象,还提供cleanup方法来释放所有的Local对象。Werkzeug中LocalManager最主要的接口就是装饰器方法make_middleware,代码如下:

def make_middleware(self, app):     """Wrap a WSGI application so that cleaning up happens after     request end.     """     def application(environ, start_response):         return ClosingIterator(app(environ, start_response), self.cleanup)     return application

这个装饰器注册了回调函数cleanup,当一个线程(或者协程)处理完请求之后,就会调用cleanup清理它所管理的Local或者LocalStack 对象(ClosingIterator 的实现在 werkzeug.wsgi中)。下面是一个使用 LocalManager 的简单例子:

from werkzeug.local import Local, LocalManager  local = Local() local_2 = Local() local_manager = LocalManager([local, local2])  def application(environ, start_response):     local.request = request = Request(environ)     ...  # application 处理完毕后,会自动清理local_manager 的内容

通过LocalManager的make_middleware我们可以在某个线程(协程)处理完一个请求后,清空所有的Local或者LocalStack对象,这样这个线程又可以处理另一个请求了。至此,文章开始时提到的第二个问题就可以解决了。Werkzeug.local 里面还实现了一个 LocalProxy 用来作为Local对象的代理,也非常值得去学习。



推荐阅读
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • 本文详细介绍了如何使用Python中的smtplib库来发送带有附件的邮件,并提供了完整的代码示例。作者:多测师_王sir,时间:2020年5月20日 17:24,微信:15367499889,公司:上海多测师信息有限公司。 ... [详细]
  • 在Django中提交表单时遇到值错误问题如何解决?
    在Django项目中,当用户提交包含多个选择目标的表单时,可能会遇到值错误问题。本文将探讨如何通过优化表单处理逻辑和验证机制来有效解决这一问题,确保表单数据的准确性和完整性。 ... [详细]
  • 在Android应用开发中,实现与MySQL数据库的连接是一项重要的技术任务。本文详细介绍了Android连接MySQL数据库的操作流程和技术要点。首先,Android平台提供了SQLiteOpenHelper类作为数据库辅助工具,用于创建或打开数据库。开发者可以通过继承并扩展该类,实现对数据库的初始化和版本管理。此外,文章还探讨了使用第三方库如Retrofit或Volley进行网络请求,以及如何通过JSON格式交换数据,确保与MySQL服务器的高效通信。 ... [详细]
  • 本文详细探讨了OpenCV中人脸检测算法的实现原理与代码结构。通过分析核心函数和关键步骤,揭示了OpenCV如何高效地进行人脸检测。文章不仅提供了代码示例,还深入解释了算法背后的数学模型和优化技巧,为开发者提供了全面的理解和实用的参考。 ... [详细]
  • 本文介绍了如何在 Spring 3.0.5 中使用 JdbcTemplate 插入数据并获取 MySQL 表中的自增主键。 ... [详细]
  • 如何在Java中使用DButils类
    这期内容当中小编将会给大家带来有关如何在Java中使用DButils类,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。D ... [详细]
  • 本文详细介绍了 PHP 中对象的生命周期、内存管理和魔术方法的使用,包括对象的自动销毁、析构函数的作用以及各种魔术方法的具体应用场景。 ... [详细]
  • php更新数据库字段的函数是,php更新数据库字段的函数是 ... [详细]
  • 开机自启动的几种方式
    0x01快速自启动目录快速启动目录自启动方式源于Windows中的一个目录,这个目录一般叫启动或者Startup。位于该目录下的PE文件会在开机后进行自启动 ... [详细]
  • 本文探讨了如何在C#应用程序中通过选择ComboBox项从MySQL数据库中检索数据值。具体介绍了在事件处理方法 `comboBox2_SelectedIndexChanged` 中可能出现的常见错误,并提供了详细的解决方案和优化建议,以确保数据能够正确且高效地从数据库中读取并显示在界面上。此外,还讨论了连接字符串的配置、SQL查询语句的编写以及异常处理的最佳实践,帮助开发者避免常见的陷阱并提高代码的健壮性。 ... [详细]
  • 数据库多表联合查询:内连接与外连接详解
    在数据库的多表查询中,内连接和外连接是两种常用的技术手段。内连接用于检索多个表中相互匹配的记录,即只有当两个表中的记录满足特定的连接条件时,这些记录才会被包含在查询结果中。相比之下,外连接则不仅返回匹配的记录,还可以选择性地返回不匹配的记录,具体取决于左外连接、右外连接或全外连接的选择。本文将详细解析这两种连接方式的使用场景及其语法结构,帮助读者更好地理解和应用多表查询技术。 ... [详细]
  • 在Android 4.4系统中,通过使用 `Intent` 对象并设置动作 `ACTION_GET_CONTENT` 或 `ACTION_OPEN_DOCUMENT`,可以从相册中选择图片并获取其路径。具体实现时,需要为 `Intent` 添加相应的类别,并处理返回的 Uri 以提取图片的文件路径。此方法适用于需要从用户相册中选择图片的应用场景,能够确保兼容性和用户体验。 ... [详细]
  • 本文深入探讨了 hCalendar 微格式在事件与时间、地点相关活动标记中的应用。作为微格式系列文章的第四篇,前文已分别介绍了 rel 属性用于定义链接关系、XFN 微格式增强链接的人际关系描述以及 hCard 微格式对个人和组织信息的描述。本次将重点解析 hCalendar 如何通过结构化数据标记,提高事件信息的可读性和互操作性。 ... [详细]
  • 如何利用正则表达式(regexp)实现高效的模式匹配?本文探讨了正则表达式在编程中的应用,并分析了一个示例程序中存在的问题。通过具体的代码示例,指出该程序在定义和使用正则表达式时的不当之处,旨在帮助读者更好地理解和应用正则表达式技术。 ... [详细]
author-avatar
jimmychoong_959
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有