三程（进程、线程、协程）&三器（迭代器、装饰器、生成器）

https://www.cnblogs.com/xiaonq/p/7905347.html#i3

• 进程是资源分配的最小单位（ 内存、cpu、网络、io）
• 一个运行起来的程序就是一个进程
  
  • 什么是程序（程序是我们存储在硬盘里的代码）
  • 硬盘（256G）、内存条（8G）
  • 当我们双击图标，打开程序的时候，实际上就是通过I/O操作（读写）内存条里面
  • 内存条就是我们所指的资源
  • CPU分时
    
    • CPU比你的手速快多了，分时处理每个线程，但是由于太快然你觉得每个线程都是独占cpu
    • cpu是计算，只有时间片到了，获取cpu，线程真正执行
    • 当你想使用 网络、磁盘等资源的时候，需要cpu的调度
• 进程具有独立的内存空间，所以没有办法相互通信
  
  • 进程如何通信
    
    • 进程queue(父子进程通信)
    • pipe（同一程序下两个进程通信）
    • managers（同一程序下多个进程通信）
    • RabbitMQ、redis等（不同程序间通信）
• 为什么需要进程池
  
  • 一次性开启指定数量的进程
    如果有十个进程，有一百个任务，一次可以处理多少个（一次性只能处理十个）
  • 防止进程开启数量过多导致服务器压力过大

• 有了进程为什么还需要线程
  
  • 因为进程不能同一时间只能做一个事情
• 什么是线程
  
  • 线程是操作系统调度的最小单位
  • 线程是进程正真的执行者，是一些指令的集合（进程资源的拥有者）
  • 同一个进程下的读多个线程共享内存空间，数据直接访问（数据共享）
  • 为了保证数据安全，必须使用线程锁
• GIL全局解释器锁
  
  • 在python全局解释器下，保证同一时间只有一个线程运行
  • 防止多个线程都修改数据
• 线程锁（互斥锁）
  
  • GIL锁只能保证同一时间只能有一个线程对某个资源操作，但当上一个线程还未执行完毕时可能就会释放GIL，其他线程就可以操作了
  • 线程锁本质把线程中的数据加了一把互斥锁
    
    • mysql中共享锁 & 互斥锁
      
      • mysql共享锁：共享锁，所有线程都能读，而不能写
      • mysql排它锁：排它，任何线程读取这个这个数据的权利都没有
  • 加上线程锁之后所有其他线程，读都不能读这个数据
• 有了GIL全局解释器锁为什么还需要线程锁
  
  • 因为cpu是分时使用的
• 死锁定义
  
  • 两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去

• 什么是协程

  • 协程微线程，纤程，本质是一个单线程
  • 协程能在单线程处理高并发
  • 线程遇到I/O操作会等待、阻塞，协程遇到I/O会自动切换（剩下的只有CPU操作）
  • 线程的状态保存在CPU的寄存器和栈里而协程拥有自己的空间，所以无需上下文切换的开销，所以快、

• 为甚么协程能够遇到I/O自动切换

  • 协程有一个gevent模块(封装了greenlet模块)，遇到I/O自动切换

• 协程缺点

  • 无法利用多核资源：协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上
  • 线程阻塞（Blocking）操作（如IO时）会阻塞掉整个程序

• 协程最大的优点

  • 不仅是处理高并发（单线程下处理高并发）
  • 特别节省资源（500日活，用php写需要两百多态机器，但是golang只需要二十多太机器）
    
    • 200多台机器一年
    • 二十多天机器一年

• select

  • 只能处理1024个连接（每一个请求都可以理解为一个连接）
  • 不能告诉用户程序，哪一个连接是活跃的

• pool

  • 只是取消了最大1024个活跃的限制
  • 不能告诉用户程序，哪一个连接是活跃的

• epool

  • 不仅取消了1024这个最大连接限制
  • 而且能告诉用户程序哪一个是活跃的
    

• 什么是装饰器?（What）

  • 装饰器本质是函数，用来给其他函数添加新的功能

  • 特点：不修改调用方式、不修改源代码

• 装饰器的应用场景？（Where）

  • 用户认证，判断用户是否登录

  • 计算函数运行时间（算是一个功能、在项目里用的不多）

  • 插入日志的时候

  • redis缓存

• 为什么使用装饰器？（Why）

  • 结合应用场景说需求

• 如何使用装饰器？（How）

  • 装饰器求函数运行时间

```bash
import time
def timer(func): #timer(test1) func=test1
def deco(*args,**kwargs):
start_time = time.time()
func(*args,**kwargs) #run test1
stop_time = time.time()
print("running time is %s"%(stop_time-start_time))
return deco
# @timer # test1=timer(test1)
def test1():
time.sleep(3)
print("in the test1")
test1()


• 三级装饰器

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import time
def auth(auth_type):
print("auth func:",auth_type)
def outer_wrapper(func):
def wrapper(*args, **kwargs):
print("wrapper func args:", *args, **kwargs)
print('运行前')
func(*args, **kwargs)
print('运行后')
return wrapper
return outer_wrapper
@auth(auth_type="local") # home = wrapper()
def home():
print("welcome to home page")
return "from home"
home()


• 什么是生成器?(What)

  • 生成器就是一个特殊的迭代器
  • 一个有yield关键字的函数就是一个生成器
    
    • 生成器是这样一个函数，它记住上一次返回时在函数体中的位置。
    • 对生成器函数的第二次（或第 n 次）调用跳转至该函数中间，而上次调用的所有局部变量都保持不变。

• 生成器哪些场景应用？（Where）

  • 生成器是一个概念，我们平常写代码可能用的并不多，但是python源码大量使用

  • 比如我们tornado框架就是基于 生成器 协程

  • 在我们代码中使用举例

  • 比如我们要生成一百万个数据，如果用生成器非常节省空间，用列表浪费大量空间

import time
t1 = time.time()
g = (i for i in range(100000000))
t2 = time.time()
lst = [i for i in range(100000000)]
t3 = time.time()
print('生成器时间：',t2 - t1) # 生成器时间： 0.0
print('列表时间：',t3 - t2) # 列表时间： 5.821957349777222


• 为什么使用生成器

  • 节省空间
  • 高效

• 如何使用

#!/usr/bin/python
# -*- coding: utf-8 -*-
def read_big_file_v(fname):
block_size = 1024 * 8
with open(fname,encoding="utf8") as fp:
while True:
chunk = fp.read(block_size)
# 当文件没有更多内容时，read 调用将会返回空字符串 ''
if not chunk:
break
print(chunk)
path = r'C:\aaa\luting\edc-backend\tttt.py'
read_big_file_v(path)


• 什么是迭代器(What)

  • 迭代器是访问集合内元素的一种方法

    • 总是从集合内第一个元素访问，直到所有元素都被访问过结束，当调用 __next__而元素返回会引发一个，StopIteration异常

  • 有两个方法：iter next

__iter__ : 返回迭代器自身

__next__: 返回下一个元素