热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开启线程池和进程池

线程与进程的应用场合很多,主要处理并发与多任务。然而,当开启的线程与进程过多时,系统的开销过多会造成性能低下甚至崩溃。这时,希望出现一种方法能规定只能执行指定数量线程与进程的策略。特别是针对不知道

  线程与进程的应用场合很多,主要处理并发与多任务。然而,当开启的线程与进程过多时,系统的开销过多会造成性能低下甚至崩溃。这时,希望出现一种方法能规定只能执行指定数量线程与进程的策略。特别是针对不知道要开启多少线程或进程,而有可能出现线程或进程过多的情况。于是,线程池与进程池出现了。python3以后增加了concurrent.futures模块,为异步执行提供了高级的接口。

线程池

concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix=''): 线程池,提供能异步地执行任务的线程。

参数max_workers为最大的能提供线程的个数,默认为CPU的核数乘5,如果CPU为四核那么能开启的最大线程数为20。

参数thread_name_prefix为线程名前缀,为了方便控制线程和调试线程。

 

ThreadPoolExecutor下面有submit,map,shutdown方法:

  • submit(fn, *args, **kwargs)方法将返回一个futurn对象,代表将要执行或未完成的任务的结果。
  • map(func, *iterables, timeout=None, chunksize=1)将返回一个迭代器iter,没弄next方法执行iter一次,将并发max_workers个线程。
  • shutdown(wait=True)将释放完成任务的线程池所占的所有资源,参数wait如果为True,则等待未完成的任务。如果使用with,则不用显示地调用。

注意: shutdown方法的wait不管是True或是False,解释器都会把剩余的任务执行完。区别就是一个是等待(阻塞),一个是不等待。

Future对象

  Future对象为Executor.submit()执行后的结果,代表将要执行或未完成的任务的结果。注意,不用手动调用concurrent.futures.Future生成Future对象。 它有以下多种方法:

  • cancel(): 试图取消任务。如果当前任务正在被执行而且不能取消,返回False,否则此任务被取消并返回True。cancelled(): 如果任务成功地取消,返回True
  • running(): 如果当前任务正在被执行而且不能取消,返回True
  • done(): 如果任务被完成或成功地被取消则返回True
  • result(timeout=None): 返回任务的结果,如果任务未完成则等待timeout秒。
  • exception(timeout=None):在timeout秒内返回任务的异常
  • add_done_callback(fn): 添加回调函数。并且futurnd对象最为回调函数的唯一参数,无论任务被取消或完成。
import requests, time
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor, as_completed



URLS = [
    'http://www.baidu.com',
    'http://www.bing.com',
    'http://wwww.sougou.com',
    'http://www.soso.com'
]

def get_page_title(url, timeout): 
    '''得到页面的标题'''
    html = requests.get(       # 使用requests发送get请求
        url=url,
        timeout=timeout,
        headers = {
            'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:51.0) Gecko/20100101 Firefox/51.0'
        }
    )
#     print(html.text)
    soup = BeautifulSoup(html.text, "html.parser")  # 解析文档
    title = soup.find('title')    # 得到页面的标题
    return title.text



with ThreadPoolExecutor(max_workers=4) as excutor:    # 使用with得到一个最大线程数为4的线程池
    start = time.time()                               
    future_and_url = {excutor.submit(get_page_title, url, 10):url for url in URLS} # 提交任务
    for future in as_completed(future_and_url):  # 使用as_completed返回一个已完成任务的迭代器
        url = future_and_url[future]
        try:
            data = future.result()   # 得到任务的结果
        except Exception as e:
            print("has occured exception:", e)
        else:
            cost_time = time.time() - start
            print("got title:%s"%data, 'spend %ss'%cost_time)

输出为:

got title:百度一下,你就知道 spend 0.28019237518310547s
got title:搜狗搜索引擎 - 上网从搜狗开始 spend 0.3059103488922119s
got title:搜狗®宠物 | 热门论谈 spend 1.7201545238494873s
got title:微软必应搜索 - 全球搜索,有问必应 (Bing) spend 10.456863164901733s

 

进程池

  进程池同样也提供能异步执行任务的进程,不同的是它能有效地回避全局解释锁的限制。一个进程会开辟独立的空间,所以进程运行着自己的解释器,互不影响。

 concurrent.futures.ProcessPoolExecutor(max_workers=None): 进程池,max_workers与线程不同的是默认为CPU的核数。

先用线程试试看,在比较。
def is_perfect_number(number):
    '''判断是否为完美数'''
    sum = 0
    for i in range(1,number):
        if number%i == 0:
             sum += i
    if sum == number:
        return True
    return False



def find_perfect_number_t(number):
    '''利用线程寻找这个数字范围内所有的完美数'''
    perfect_number = []
    start_time = time.time()
    with ThreadPoolExecutor() as executor:
        future_dict = {executor.submit(is_perfect_number, i): i for i in range(1, number)}
  
        for future in as_completed(future_dict):
            if future.result():
                perfect_number.append(future_dict[future])
        print('The perfect number of %s is:'%number, perfect_number)
    print('has spend %ss'%(time.time()-start_time))

执行:

find_perfect_number_t(25000)

输出为:

The perfect number of 25000 is: [6, 28, 496, 8128]
has spend 134.63016271591187s

现在我们改换进程:

def find_perfect_number_p(number):
    '''利用进程寻找这个数字范围内所有的完美数'''
    perfect_number = []
    start_time = time.time()
    with ProcessPoolExecutor() as executor:
        future_dict = {executor.submit(is_perfect_number, i): i for i in range(1, number)}
  
        for future in as_completed(future_dict):
            if future.result():
                perfect_number.append(future_dict[future])
        print('The perfect number of %s is:'%number, perf

再执行:

find_perfect_number_p(25000)

输出为:

The perfect number of 25000 is: [6, 496, 28, 8128]
has spend 45.46505379676819s
这是运行线程代码的cpu负载图:

这是进程的负载图:

结论:

  上面的例子很好地展示了线程与进程的区别。我的CPU为四核,python的多线程只使用了CPU一个核,CPU使用率只有35%。多进程充分利用了全部CPU,使用率达到100%。但进程的创建和销毁所消耗的资源比线程大得多,所以在运算量不大的情况下,使用线程其实还是要比进程快。python中多进程适用解决大运算量问题并且充分利用CPU的情况。


推荐阅读
  • 本文介绍了Python爬虫技术基础篇面向对象高级编程(中)中的多重继承概念。通过继承,子类可以扩展父类的功能。文章以动物类层次的设计为例,讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例,以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。 ... [详细]
  • 本文介绍了在Linux下安装Perl的步骤,并提供了一个简单的Perl程序示例。同时,还展示了运行该程序的结果。 ... [详细]
  • GetWindowLong函数
    今天在看一个代码里头写了GetWindowLong(hwnd,0),我当时就有点费解,靠,上网搜索函数原型说明,死活找不到第 ... [详细]
  • 本文介绍了数据库的存储结构及其重要性,强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离,可以实现对物理存储的重新组织和数据库的迁移,而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构,并介绍了表空间的概念和作用。 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • android listview OnItemClickListener失效原因
    最近在做listview时发现OnItemClickListener失效的问题,经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效,还会导致单击后listview每个item的背景改变,使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况,并提供了解决方法。 ... [详细]
  • 本文介绍了Linux系统中正则表达式的基础知识,包括正则表达式的简介、字符分类、普通字符和元字符的区别,以及在学习过程中需要注意的事项。同时提醒读者要注意正则表达式与通配符的区别,并给出了使用正则表达式时的一些建议。本文适合初学者了解Linux系统中的正则表达式,并提供了学习的参考资料。 ... [详细]
  • 微软头条实习生分享深度学习自学指南
    本文介绍了一位微软头条实习生自学深度学习的经验分享,包括学习资源推荐、重要基础知识的学习要点等。作者强调了学好Python和数学基础的重要性,并提供了一些建议。 ... [详细]
  • Linux重启网络命令实例及关机和重启示例教程
    本文介绍了Linux系统中重启网络命令的实例,以及使用不同方式关机和重启系统的示例教程。包括使用图形界面和控制台访问系统的方法,以及使用shutdown命令进行系统关机和重启的句法和用法。 ... [详细]
  • 本文详细介绍了Linux中进程控制块PCBtask_struct结构体的结构和作用,包括进程状态、进程号、待处理信号、进程地址空间、调度标志、锁深度、基本时间片、调度策略以及内存管理信息等方面的内容。阅读本文可以更加深入地了解Linux进程管理的原理和机制。 ... [详细]
  • 本文介绍了在Mac上搭建php环境后无法使用localhost连接mysql的问题,并通过将localhost替换为127.0.0.1或本机IP解决了该问题。文章解释了localhost和127.0.0.1的区别,指出了使用socket方式连接导致连接失败的原因。此外,还提供了相关链接供读者深入了解。 ... [详细]
  • Webmin远程命令执行漏洞复现及防护方法
    本文介绍了Webmin远程命令执行漏洞CVE-2019-15107的漏洞详情和复现方法,同时提供了防护方法。漏洞存在于Webmin的找回密码页面中,攻击者无需权限即可注入命令并执行任意系统命令。文章还提供了相关参考链接和搭建靶场的步骤。此外,还指出了参考链接中的数据包不准确的问题,并解释了漏洞触发的条件。最后,给出了防护方法以避免受到该漏洞的攻击。 ... [详细]
  • Ubuntu 9.04中安装谷歌Chromium浏览器及使用体验[图文]
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • Python瓦片图下载、合并、绘图、标记的代码示例
    本文提供了Python瓦片图下载、合并、绘图、标记的代码示例,包括下载代码、多线程下载、图像处理等功能。通过参考geoserver,使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法,供读者参考使用。 ... [详细]
  • 本文讨论了如何使用IF函数从基于有限输入列表的有限输出列表中获取输出,并提出了是否有更快/更有效的执行代码的方法。作者希望了解是否有办法缩短代码,并从自我开发的角度来看是否有更好的方法。提供的代码可以按原样工作,但作者想知道是否有更好的方法来执行这样的任务。 ... [详细]
author-avatar
mobiledu2502929447
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有