热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

并发编程队列生产者消费者模型

队列队列:底层就是以管道和锁定的方式实现目的:多个进程之间通信使用的,一个进程将数据放到队列里面,另外一个进程从队列里面取走

队列

队列:底层就是以管道和锁定的方式实现

目的: 多个进程之间通信使用的,一个进程将数据放到队列里面,另外一个进程从队列里面取走数据,干的是进程之间通信的活

队列的大小:是使用内存的大小

from multiprocessing import Queue
q
= Queue(3)q.put('hello')
q.put({
'a':1})
q.put([
3,3,3])
print(q.full()) # 查看队列是否满了print(q.get())
print(q.get())
print(q.get())
q.empty()
# 清空队列的数据
print(q.full())'''
打印结果:
True
hello
{'a': 1}
[3, 3, 3]
False
'''

队列

生产者消费者模型

生产者指的是生产数据的任务,消费者指的是处理数据的任务

生产者消费者的模型:生产者《==》队列《===》消费者

好处:程序解开耦合,生产者与消费者不直接通信,平衡了生产者与消费者的速度差

from multiprocessing import Process,Queue
import timedef producer(q):for i in range(3):res = '包子%s' %itime.sleep(0.5)print('生产者生产了%s' %res)q.put(res)# q.put(None) # 不能在这写的原因:因为含有多个生产者,生产者1生产结束后发送信号,这时其他生产者还可能没有生产完,消费者在取的时候,碰到生产者1就结束了。def consumer(q):while True:res = q.get()if res is None:breaktime.sleep(1)print('消费者吃了%s' %res)if __name__ == '__main__':#容器q = Queue()#生产者们p1 = Process(target=producer,args=(q,))p2 = Process(target=producer,args=(q,))p3 = Process(target=producer,args=(q,))#消费者们c1 = Process(target=consumer,args=(q,))c2 = Process(target=consumer,args=(q,))p1.start()p2.start()p3.start()c1.start()c2.start()p1.join() # 保证了p1这个进程执行完了
p2.join()p3.join()q.put(None)q.put(None)print('')
'''
打印结果:
生产者生产了包子0
生产者生产了包子0
生产者生产了包子0
生产者生产了包子1
生产者生产了包子1
生产者生产了包子1
消费者吃了包子0
生产者生产了包子2
消费者吃了包子0
生产者生产了包子2
生产者生产了包子2

消费者吃了包子0
消费者吃了包子1
消费者吃了包子1
消费者吃了包子1
消费者吃了包子2
消费者吃了包子2
消费者吃了包子2
'''

View Code

JoinableQueue

from multiprocessing import Process,JoinableQueue
import timedef producer(q):for i in range(2):res = '包子%s' %itime.sleep(0.5)print('生产者生产了%s' %res)q.put(res)q.join() # 等队列执行完def consumer(q):while True:res = q.get()if res is None:breaktime.sleep(1)print('消费者吃了%s' %res)q.task_done() # 可以告诉生产者,已经有一个数据被取走if __name__ == '__main__':#容器q = JoinableQueue()#生产者们p1 = Process(target=producer,args=(q,))p2 = Process(target=producer,args=(q,))p3 = Process(target=producer,args=(q,))#消费者们c1 = Process(target=consumer,args=(q,))c2 = Process(target=consumer,args=(q,))c1.daemon = Truec2.daemon = Truep1.start()p2.start()p3.start()c1.start()c2.start()p1.join()p2.join()p3.join()print('')
'''
打印结果:
生产者生产了包子0
生产者生产了包子0
生产者生产了包子0
生产者生产了包子1
生产者生产了包子1
生产者生产了包子1
消费者吃了包子0
消费者吃了包子0
消费者吃了包子0
消费者吃了包子1
消费者吃了包子1
消费者吃了包子1

'''

View Code

 

转:https://www.cnblogs.com/Mryang123/p/8894159.html



推荐阅读
  • 本文介绍了贝叶斯垃圾邮件分类的机器学习代码,代码来源于https://www.cnblogs.com/huangyc/p/10327209.html,并对代码进行了简介。朴素贝叶斯分类器训练函数包括求p(Ci)和基于词汇表的p(w|Ci)。 ... [详细]
  • 超级简单加解密工具的方案和功能
    本文介绍了一个超级简单的加解密工具的方案和功能。该工具可以读取文件头,并根据特定长度进行加密,加密后将加密部分写入源文件。同时,该工具也支持解密操作。加密和解密过程是可逆的。本文还提到了一些相关的功能和使用方法,并给出了Python代码示例。 ... [详细]
  • 开发笔记:加密&json&StringIO模块&BytesIO模块
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识,希望对你有一定的参考价值。一、加密加密 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • 本文介绍了OC学习笔记中的@property和@synthesize,包括属性的定义和合成的使用方法。通过示例代码详细讲解了@property和@synthesize的作用和用法。 ... [详细]
  • 使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]
  • Python瓦片图下载、合并、绘图、标记的代码示例
    本文提供了Python瓦片图下载、合并、绘图、标记的代码示例,包括下载代码、多线程下载、图像处理等功能。通过参考geoserver,使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法,供读者参考使用。 ... [详细]
  • 本文介绍了Python爬虫技术基础篇面向对象高级编程(中)中的多重继承概念。通过继承,子类可以扩展父类的功能。文章以动物类层次的设计为例,讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例,以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。 ... [详细]
  • Day2列表、字典、集合操作详解
    本文详细介绍了列表、字典、集合的操作方法,包括定义列表、访问列表元素、字符串操作、字典操作、集合操作、文件操作、字符编码与转码等内容。内容详实,适合初学者参考。 ... [详细]
  • 本文介绍了在处理不规则数据时如何使用Python自动提取文本中的时间日期,包括使用dateutil.parser模块统一日期字符串格式和使用datefinder模块提取日期。同时,还介绍了一段使用正则表达式的代码,可以支持中文日期和一些特殊的时间识别,例如'2012年12月12日'、'3小时前'、'在2012/12/13哈哈'等。 ... [详细]
  • 这篇文章主要介绍了Python拼接字符串的七种方式,包括使用%、format()、join()、f-string等方法。每种方法都有其特点和限制,通过本文的介绍可以帮助读者更好地理解和运用字符串拼接的技巧。 ... [详细]
  • Python使用Pillow包生成验证码图片的方法
    本文介绍了使用Python中的Pillow包生成验证码图片的方法。通过随机生成数字和符号,并添加干扰象素,生成一幅验证码图片。需要配置好Python环境,并安装Pillow库。代码实现包括导入Pillow包和随机模块,定义随机生成字母、数字和字体颜色的函数。 ... [详细]
  • java drools5_Java Drools5.1 规则流基础【示例】(中)
    五、规则文件及规则流EduInfoRule.drl:packagemyrules;importsample.Employ;ruleBachelorruleflow-group ... [详细]
  • linux进阶50——无锁CAS
    1.概念比较并交换(compareandswap,CAS),是原⼦操作的⼀种,可⽤于在多线程编程中实现不被打断的数据交换操作࿰ ... [详细]
  • Python教学练习二Python1-12练习二一、判断季节用户输入月份,判断这个月是哪个季节?3,4,5月----春 ... [详细]
author-avatar
捕鱼达人2602917825
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有