Python线程池ThreadPoolExecutor(二)Python零基础入门教程

目录

• 一.Python 线程池前言
• 二.Python 线程池 ThreadPoolExecutor 常用函数
  • 1.线程池 as_completed 函数使用
  • 2.线程池 map 函数使用
  • 3.线程池 wait 函数使用
• 三.猜你喜欢

零基础 Python 学习路线推荐 : Python 学习目录 >> Python 基础入门

一.Python 线程池前言

紧接着上一篇文章 Python 线程池 ThreadPoolExecutor（一） 我们继续对线程池深入一点了解，其实 Python 中关于线程池，一共有两个模块：

• 1.threadpool — 是一个比较老的模块了，现在虽然还有一些人在用，但已经不再是主流了；
• 2.concurrent.futures — 目前线程池主要使用这个模块，主流模块；

二.Python 线程池 ThreadPoolExecutor 常用函数

除了 Python 线程池 ThreadPoolExecutor（一） 文章中介绍的 submit / cancel / done / result 函数外，今天还需要额外讲解一下另外几个函数：

1.线程池 as_completed 函数使用

虽然 done 函数提供了判断任务是否结束的方法，但是并不是太实用，因为我们并不知道线程到底什么时候结束，需要一直判断每个任务有没有结束。这时就可以使用 as_completed 方法一次取出所有任务的结果。

as_completed 方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，就能继续执行 for 循环后面的语句，然后继续阻塞住，循环到所有的任务结束。

# !usr/bin/env python
# -*- coding:utf-8 _*-
"""
@Author:猿说编程
@Blog(个人博客地址): www.codersrc.com
@File:Python 线程池 ThreadPoolExecutor.py
@Time:2021/05/05 07:37
@Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！

"""


from concurrent.futures import ThreadPoolExecutor, as_completed
import time

# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(2)
    print("download video {} finished at {}".format(index,time.strftime("%Y-%m-%d %H:%M:%S", time.gmtime())))
    return index

executor = ThreadPoolExecutor(max_workers=2)
urls = [1, 2, 3, 4, 5]
all_task = [executor.submit(download_video, (url)) for url in urls]

for task in as_completed(all_task):
    data = task.result()
    print("任务{} down load success".format(data))


"""
输出结果：

download video 1 finished at 2021-05-05 07:10:00
任务1 down load success
download video 2 finished at 2021-05-05 07:10:00
任务2 down load success
download video 3 finished at 2021-05-05 07:10:02
任务3 down load success
download video 4 finished at 2021-05-05 07:10:02
任务4 down load success
download video 5 finished at 2021-05-05 07:10:04
任务5 down load success
"""

代码分析：

5 个任务，2 个线程，由于在线程池构造的时候允许同时最多执行 2 个线程，所以同时执行任务 1 和任务 2 ，重代码的输出结果来看，任务 1 和任务 2 执行后，for 循环进入阻塞状态，直到任务 1 或者任务 2 结束之后才会 for 才会继续执行任务 3 / 任务 4 ，并保证同时执行的最多只有两个任务（关于自定义时间格式请参考：Python time 模块）.

2.线程池 map 函数使用

和 as_completed 方法不同的是：map 方法能保证任务的顺序性，举个例子：如果同时下载 5 个视频，就算第二个视频比第一个视频先下载完成，也会阻塞等待第一个视频下载完成并通知主线程之后，第二个下载完成的视频才回通知主线程，保证按照顺序完成任务，下面举个例子说明一下：

# !usr/bin/env python
# -*- coding:utf-8 _*-
"""
@Author:猿说编程
@Blog(个人博客地址): www.codersrc.com
@File:Python 线程池 ThreadPoolExecutor.py
@Time:2021/05/05 07:37
@Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！

"""


from concurrent.futures import ThreadPoolExecutor, as_completed
import time

# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(index)
    print("download video {} finished at {}".format(index,time.strftime("%Y-%m-%d %H:%M:%S", time.gmtime())))
    return index

executor = ThreadPoolExecutor(max_workers=2)
urls = [3, 2, 1, 4, 5]


for data in executor.map(download_video,urls):
    print("任务{} down load success".format(data))


"""
输出结果：

download video 2 finished at 2021-05-05 07:10:55
download video 3 finished at 2021-05-05 07:10:56
任务3 down load success
任务2 down load success
download video 1 finished at 2021-05-05 07:10:56
任务1 down load success
download video 4 finished at 2021-05-05 07:10:00
任务4 down load success
download video 5 finished at 2021-05-05 07:10:01
任务5 down load success
"""

代码分析：

重上面的输出结果看来，即便任务 2 比任务 3 先完成，for 循环输出的内容依旧是提示先完成的任务 3 再完成任务 2 ，根据列表 urls 顺序输出，保证任务的顺序性！

3.线程池 wait 函数使用

**wait 方法有点类似线程的 join 方法，能阻塞主线程，直到线程池中的所有的线程都操作完成！**实例代码如下：

# !usr/bin/env python
# -*- coding:utf-8 _*-
"""
@Author:猿说编程
@Blog(个人博客地址): www.codersrc.com
@File:Python 线程池 ThreadPoolExecutor.py
@Time:2021/05/05 07:37
@Motto:不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！

"""


from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, FIRST_COMPLETED
import time

# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(2)
    print("download video {} finished at {}".format(index,time.strftime("%Y-%m-%d %H:%M:%S", time.gmtime())))
    return index

executor = ThreadPoolExecutor(max_workers=2)
urls = [1, 2, 3, 4, 5]
all_task = [executor.submit(download_video,(url)) for url in urls]

wait(all_task,return_when=ALL_COMPLETED)

print("main ")


"""
输出结果：

download video 2 finished at 2021-05-05 07:10:22
download video 1 finished at 2021-05-05 07:10:22
download video 3 finished at 2021-05-05 07:10:24
download video 4 finished at 2021-05-05 07:10:24
download video 5 finished at 2021-05-05 07:10:26
main
"""

** wait 方法接收 3 个参数，等待的任务序列、超时时间以及等待条件。等待条件 return_when 默认为 ALL_COMPLETED ，表明要等待所有的任务都结束。可以看到运行结果中，确实是所有任务都完成了，主线程才打印出 main 。等待条件还可以设置为 FIRST_COMPLETED ，表示第一个任务完成就停止等待。**

三.猜你喜欢

1. Python 条件推导式
2. Python 列表推导式
3. Python 字典推导式
4. Python 函数声明和调用
5. Python 不定长参数 *argc/**kargcs
6. Python 匿名函数 lambda
7. Python return 逻辑判断表达式
8. Python 字符串/列表/元组/字典之间的相互转换
9. Python 局部变量和全局变量
10. Python type 函数和 isinstance 函数区别
11. Python is 和 == 区别
12. Python 可变数据类型和不可变数据类型
13. Python 浅拷贝和深拷贝
14. Python 文件读写操作
15. Python 异常处理
16. Python 模块 import
17. Python __name__ == ‘__main__’详细解释
18. Python 线程创建和传参
19. Python 线程互斥锁 Lock
20. Python 线程时间 Event
21. Python 线程条件变量 Condition
22. Python 线程定时器 Timer
23. Python 线程信号量 Semaphore
24. Python 线程障碍对象 Barrier
25. Python 线程队列 Queue – FIFO
26. Python 线程队列 LifoQueue – LIFO
27. Python 线程优先队列 PriorityQueue

未经允许不得转载：猿说编程 » Python 线程池 ThreadPoolExecutor(二)

本文由博客 - 猿说编程 猿说编程 发布！