热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

pythonday33

今日内容进程池与线程池开进程和开线程都需要消耗资源,只不过两者比较的情况线程消耗的资源比进程要少在计算机能够承受范围之内最大限度的利用计算机什么是池?在保证计算机硬件安全的情况下最

今日内容


进程池与线程池

开进程和开线程都需要消耗资源,只不过两者比较的情况线程消耗的资源比进程要少

在计算机能够承受范围之内最大限度的利用计算机

什么是池?

  • 在保证计算机硬件安全的情况下最大限度的利用计算机
  • 池其实是降低了程序的运行效率,但是保证了计算机的硬件的安全(硬件的发展跟不上软件的发展速度)

线程池

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time
import os

pool
= ThreadPoolExecutor(5) # 括号内可以传参数指定线程内的线程个数,也可以不传,不传默认是当前所在计算机的cpu个数乘5
pool = ProcessPoolExecutor(5)

def task(n):print(n)time.sleep(2)return n**2

t_list
= []
for i in range(20):res = pool.submit(task,1) # 朝线程池中提交任务,异步提交print(res.result()) # 原地等待任务的返回结果,将并发变为串行
t_list.append()

pool.shutdown()
# 关闭池子,等待池子中所有的任务执行完毕后,才会往下运行代码
for p in t_list:print('>>>:',p.result())

进程池

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time

pool
= ProcessPoolExecutor() # 不传值时默认是当前计算机cpu的个数

def task(n):print(n,os.getpid()) # 查看当前进程号time.sleep(2)return n**2

if __name__ == '__main__':t_list = []for i in range(20):res = pool.submit(task,1) # 朝线程池中提交任务,异步提交print(res.result()) # 原地等待任务的返回结果,将并发变为串行
t_list.append()
​pool.shutdown()
# 关闭池子,等待池子中所有的任务执行完毕后,才会往下运行代码for p in t_list:print('>>>:',p.result())

总结:

  • 池子中创建的进程/线程,创建一次就不会再创建了,至始至终都是用的最初的那几个,这样做节省了反复开辟进程/线程的资源

异步回调机制:当异步提交的任务有返回结果时,会自动触发回调函数的执行

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time

pool
= ProcessPoolExecutor(5)

def task(n):print(n,os.getpid()) # 查看当前进程号time.sleep(2)return n**2

def callback(n):print('拿到了异步提交任务的返回结果:',n)

if __name__ == '__main__':t_list = []for i in range(20):res = pool.submit(task,1).add_done_callback(call_back) # 提交任务时,绑定一个回调函数,一旦任务有结果,立刻执行对应的回调函数t_list.append(res)

提交任务的方式:

  • 同步:提交任务后,原地等待任务的返回结果,期间不做任何事
  • 异步:提交任务后,不等待任务的返回结果(异步的结果怎么拿),直接执行下一行代码

协程

进程:资源单位

线程:执行单位

协程:

  • 单线程下实现并发
  • 完全是程序员自己意淫出来的名词
  • 并发:切换+保存状态
  • PS:看起来像同时执行的,就可以称之为并发

实现并发的条件

  • 多道技术
    • 空间上的复用
    • 时间上的复用
  • 切换+保存状态

实现原理:

  • 程序员自己通过代码检测程序中的IO,一旦遇到IO,自己通过代码切换,给操作系统的感觉时你这个线程没有任何的IO
  • PS:欺骗操作系统,让它误认为你这个程序一直没有IO,从而保证程序在运行态和就绪态来回切换,提升代码的运行效率

切换+保存状态就一定能够提升效率吗?

  • 当你的任务就io密集型的情况下,则提升效率
  • 如果你的任务是计算密集型的,则降低效率

注意:yield保存上一次的结果

# 基于yield并发执行 切换+保存状态 效率反而降低了
import time

def func1():while True:10000000+1yielddef func2():g = func1()for i in range(10000000):time.sleep(100) # 模拟IO,yield并不会捕捉到自动切换i+1next(g)start = time.time()
func2()
stop
= time.time()
print(stop-start)

需要找到一个能够识别IO的工具(gevent模块)

注意:gevent模块无法自动识别time.sleep等IO情况,需要手动再配置一个参数(monkey.patch_all())

from gevent import monkey;monkey.patch_all() # 由于该模块经常被使用,所以建议写成一行
from gevent import spawn
import time

def heng():print('')time.slepp(2)print('')def ha():print('')time.sleep(3)print('')start = time.time()
g1
= spawn(heng)
g2
= spawn(ha) # spawn会监测所有的任务
g1.join()
g2.join()
print(time.time() - start)
'''


3.002878...秒
'''

总结:

  • 多进程下开多线程
  • 多线程下再开协程

TCP单线程实现并发

客户端

import socket
from Thread import Thread,current_thread

def client():client = socket.socket()client.connect(('127.0.0.1',8080))n = 0while True:data = '%s %s'%(current_thread().name,n)client.send(data.encode('utf--8'))res = client.recv(1024)print(res.decode('utf-8'))n += 1for i in range(400):t = Thread(target=client)t.start()

服务端

import socket
from gevent import monkey;monkey.patch_all()行
from gevent import spawn

server
= socket.socket()
server.bind((
'127.0.0.1',8080))
server.listen(
5)

def talk(conn):while True:try:data = conn.recv(1024)if len(data) == 0:breakprint(data.decode('utf-8'))conn.send(data.upper())except ConnectResetError as e:print(e)breakconn.close()

def server_run():while True:conn,addr = server.accept()spawn(talk,conn)if __name__ == '__main__':g1 = spawn(server_run)g1.join()


IO模型

https://www.cnblogs.com/Dominic-Ji/articles/10929396.html


转载于:https://www.cnblogs.com/zhukaijian/p/11359435.html


推荐阅读
  • 本文探讨了在支付项目开发中使用SS5 Socket Server实现内部网络访问外部网络的技术方案。详细介绍了SS5的安装、配置及性能测试过程,旨在为面临相同需求的技术人员提供参考。 ... [详细]
  • Python 异步编程:深入理解 asyncio 库(上)
    本文介绍了 Python 3.4 版本引入的标准库 asyncio,该库为异步 IO 提供了强大的支持。我们将探讨为什么需要 asyncio,以及它如何简化并发编程的复杂性,并详细介绍其核心概念和使用方法。 ... [详细]
  • 深入解析JVM垃圾收集器
    本文基于《深入理解Java虚拟机:JVM高级特性与最佳实践》第二版,详细探讨了JVM中不同类型的垃圾收集器及其工作原理。通过介绍各种垃圾收集器的特性和应用场景,帮助读者更好地理解和优化JVM内存管理。 ... [详细]
  • 本文详细介绍了 GWT 中 PopupPanel 类的 onKeyDownPreview 方法,提供了多个代码示例及应用场景,帮助开发者更好地理解和使用该方法。 ... [详细]
  • Explore how Matterverse is redefining the metaverse experience, creating immersive and meaningful virtual environments that foster genuine connections and economic opportunities. ... [详细]
  • Explore a common issue encountered when implementing an OAuth 1.0a API, specifically the inability to encode null objects and how to resolve it. ... [详细]
  • 本文介绍了Java并发库中的阻塞队列(BlockingQueue)及其典型应用场景。通过具体实例,展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递,并结合线程池和原子类优化性能。 ... [详细]
  • 本文详细介绍了Java中org.eclipse.ui.forms.widgets.ExpandableComposite类的addExpansionListener()方法,并提供了多个实际代码示例,帮助开发者更好地理解和使用该方法。这些示例来源于多个知名开源项目,具有很高的参考价值。 ... [详细]
  • 深入解析Spring Cloud Ribbon负载均衡机制
    本文详细介绍了Spring Cloud中的Ribbon组件如何实现服务调用的负载均衡。通过分析其工作原理、源码结构及配置方式,帮助读者理解Ribbon在分布式系统中的重要作用。 ... [详细]
  • Python自动化处理:从Word文档提取内容并生成带水印的PDF
    本文介绍如何利用Python实现从特定网站下载Word文档,去除水印并添加自定义水印,最终将文档转换为PDF格式。该方法适用于批量处理和自动化需求。 ... [详细]
  • 本文详细探讨了在微服务架构中,使用Feign进行远程调用时出现的请求头丢失问题,并提供了具体的解决方案。重点讨论了单线程和异步调用两种场景下的处理方法。 ... [详细]
  • 本文将详细介绍NSRunLoop的工作原理,包括其基本概念、消息类型(事件源)、运行模式、生命周期管理以及嵌套运行等关键知识点,帮助开发者更好地理解和应用这一重要技术。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文基于刘洪波老师的《英文词根词缀精讲》,深入探讨了多个重要词根词缀的起源及其相关词汇,帮助读者更好地理解和记忆英语单词。 ... [详细]
  • Linux设备驱动程序:异步时间操作与调度机制
    本文介绍了Linux内核中的几种异步延迟操作方法,包括内核定时器、tasklet机制和工作队列。这些机制允许在未来的某个时间点执行任务,而无需阻塞当前线程,从而提高系统的响应性和效率。 ... [详细]
author-avatar
海峰2502853427
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有