当前位置: 开发笔记 > 编程语言 > 正文

python12并发编程

作者：我似1998 | 来源：互联网 | 2023-08-28 17:45

阅读目录一背景知识二python并发编程之多进程三python并发编程之多线程四python并发编程之协程五python并发编程之IO模型六补充：paramiko模块

阅读目录

一背景知识

二 python并发编程之多进程

三 python并发编程之多线程

四 python并发编程之协程

五 python并发编程之IO模型

六补充&＃xff1a;paramiko模块

七作业

一背景知识

顾名思义&＃xff0c;进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。

进程的概念起源于操作系统&＃xff0c;是操作系统最核心的概念&＃xff0c;也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。

所以想要真正了解进程&＃xff0c;必须事先了解操作系统&＃xff0c;点击进入

PS&＃xff1a;即使可以利用的cpu只有一个&＃xff08;早期的计算机确实如此&＃xff09;&＃xff0c;也能保证支持&＃xff08;伪&＃xff09;并发的能力。将一个单独的cpu变成多个虚拟的cpu&＃xff08;多道技术&＃xff1a;时间多路复用和空间多路复用&＃43;硬件上支持隔离&＃xff09;&＃xff0c;没有进程的抽象&＃xff0c;现代计算机将不复存在。

必备的理论基础&＃xff1a;

#一操作系统的作用&＃xff1a;1&＃xff1a;隐藏丑陋复杂的硬件接口&＃xff0c;提供良好的抽象接口2&＃xff1a;管理、调度进程&＃xff0c;并且将多个进程对硬件的竞争变得有序#二多道技术&＃xff1a;1.产生背景&＃xff1a;针对单核&＃xff0c;实现并发ps&＃xff1a;现在的主机一般是多核&＃xff0c;那么每个核都会利用多道技术有4个cpu&＃xff0c;运行于cpu1的某个程序遇到io阻塞&＃xff0c;会等到io结束再重新调度&＃xff0c;会被调度到4个cpu中的任意一个&＃xff0c;具体由操作系统调度算法决定。2.空间上的复用&＃xff1a;如内存中同时有多道程序3.时间上的复用&＃xff1a;复用一个cpu的时间片强调&＃xff1a;遇到io切&＃xff0c;占用cpu时间过长也切&＃xff0c;核心在于切之前将进程的状态保存下来&＃xff0c;这样才能保证下次切换回来时&＃xff0c;能基于上次切走的位置继续运行

本文将将着重介绍进程以及它的亲戚->线程

二 python并发编程之多进程

理论&＃xff1a;http://www.cnblogs.com/linhaifeng/articles/7430066.html

链接&＃xff1a;http://www.cnblogs.com/linhaifeng/articles/7428874.html

三 python并发编程之多线程

理论&＃xff1a;http://www.cnblogs.com/linhaifeng/articles/7430082.html

链接&＃xff1a;http://www.cnblogs.com/linhaifeng/articles/7428877.html

四 python并发编程之协程

链接&＃xff1a;http://www.cnblogs.com/linhaifeng/articles/7429894.html

五 Python并发编程之IO模型

链接&＃xff1a;http://www.cnblogs.com/linhaifeng/articles/7454717.html

六补充&＃xff1a;paramiko模块

1. 介绍&＃xff1a;

paramiko是一个用于做远程控制的模块&＃xff0c;使用该模块可以对远程服务器进行命令或文件操作&＃xff0c;值得一说的是&＃xff0c;fabric和ansible内部的远程管理就是使用的paramiko来现实。

2. 下载安装

pip3 install paramiko #在python3中

在python2中pycrypto&＃xff0c;由于 paramiko 模块内部依赖pycrypto&＃xff0c;所以先下载安装pycrypto #在python2中
pip3 install pycrypto
pip3 install paramiko
注&＃xff1a;如果在安装pycrypto2.0.1时发生如下错误command &＃39;gcc&＃39; failed with exit status 1...
可能是缺少python-dev安装包导致
如果gcc没有安装&＃xff0c;请事先安装gcc

3. 使用

SSHClient

用于连接远程服务器并执行基本命令

基于用户名密码连接&＃xff1a;

import paramiko# 创建SSH对象
ssh &＃61; paramiko.SSHClient()
# 允许连接不在know_hosts文件中的主机
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
# 连接服务器
ssh.connect(hostname&＃61;&＃39;120.92.84.249&＃39;, port&＃61;22, username&＃61;&＃39;root&＃39;, password&＃61;&＃39;xxx&＃39;)# 执行命令
stdin, stdout, stderr &＃61; ssh.exec_command(&＃39;df&＃39;)
# 获取命令结果
result &＃61; stdout.read()
print(result.decode(&＃39;utf-8&＃39;))
# 关闭连接
ssh.close()

import paramikotransport &＃61; paramiko.Transport((&＃39;120.92.84.249&＃39;, 22))
transport.connect(username&＃61;&＃39;root&＃39;, password&＃61;&＃39;xxx&＃39;)ssh &＃61; paramiko.SSHClient()
ssh._transport &＃61; transportstdin, stdout, stderr &＃61; ssh.exec_command(&＃39;df&＃39;)
res&＃61;stdout.read()
print(res.decode(&＃39;utf-8&＃39;))transport.close()

SSHClient 封装 Transport

基于公钥密钥连接&＃xff1a;

客户端文件名&＃xff1a;id_rsa

服务端必须有文件名&＃xff1a;authorized_keys(在用ssh-keygen时&＃xff0c;必须制作一个authorized_keys,可以用ssh-copy-id来制作)

import paramikoprivate_key &＃61; paramiko.RSAKey.from_private_key_file(&＃39;/tmp/id_rsa&＃39;)# 创建SSH对象
ssh &＃61; paramiko.SSHClient()
# 允许连接不在know_hosts文件中的主机
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
# 连接服务器
ssh.connect(hostname&＃61;&＃39;120.92.84.249&＃39;, port&＃61;22, username&＃61;&＃39;root&＃39;, pkey&＃61;private_key)# 执行命令
stdin, stdout, stderr &＃61; ssh.exec_command(&＃39;df&＃39;)
# 获取命令结果
result &＃61; stdout.read()
print(result.decode(&＃39;utf-8&＃39;))
# 关闭连接
ssh.close()

import paramikoprivate_key &＃61; paramiko.RSAKey.from_private_key_file(&＃39;/tmp/id_rsa&＃39;)transport &＃61; paramiko.Transport((&＃39;120.92.84.249&＃39;, 22))
transport.connect(username&＃61;&＃39;root&＃39;, pkey&＃61;private_key)ssh &＃61; paramiko.SSHClient()
ssh._transport &＃61; transportstdin, stdout, stderr &＃61; ssh.exec_command(&＃39;df&＃39;)
result&＃61;stdout.read()
print(result.decode(&＃39;utf-8&＃39;))transport.close()

SSHClient 封装 Transport

import paramiko
from io import StringIOkey_str &＃61; """-----BEGIN RSA PRIVATE KEY-----
MIIEoQIBAAKCAQEAsJmFLrSeCumJvga0Gl5O5wVOVwMIy2MpqIyQPi5J87dg89a4
Da9fczJog7qoSbRwHFOQoCHNphSlp5KPhGsF6RJewkIw9H1UKV4dCOyl/4HOAkAD
rKrsEDmrJ9JlzF2GTTZSnTgVQWcvBS2RKB4eM2R9aJ11xV6X2Hk4YDLTExIWeabb
h2TUKw0iyjI8pRuYLKkF2X16u9TBwfOTroGYgiNFHQvhsQppbEbI49NF2XkCkFMi
8/7tLjf95InE/VUUq56JqfzyHwdpHou&＃43;waXbwtvGgXN3sz&＃43;KkuEv6R2qDz06upZV
FCZRRpDhzoR8Uh/UEzTGZb8z7FB6EJXUiXJikQIBIwKCAQBBmBuGYFf1bK&＃43;BGG7H
9ySe81ecqVsJtx4aCFLVRGScWg4RbQKIvXs5an6XU/VdNGQnx0RYvBkvDvuzRRC8
J8Bd4kB0CfTtGJuaVigKoQp02HEWx1HSa17&＃43;tlWD0c4KFBvwywi&＃43;DYQ83S64x8gz
eOalX9bPFenqORPUD8R7gJeKvPVc6ZTPeorpuH7u9xayP0Eop8qKxZza9Xh3foVj
Qo4IxoYnDN57CIRX5PFSlDDggpmr8FtRF4nAxmFq8LhSp05ivzX/Ku1SNHdaMWZO
7va8tISXdLI5m0EGzoVoBvohIbwlxI6kfmamrh6Eas2Jnsc4CLzMsR4jBWt0LHLv
/SLnAoGBANaEUf/Jptab9G/xD9W2tw/636i3gLpTPY9KPtCcAxqStNeT6RAWZ5HF
lKJg&＃43;NKpu3pI45ldAwvts0i&＃43;aCZk2xakEWIZWqCmXm31JSPDQTaMGe7H0vOmUaxx
ncdpBVdvhMbfFUgei15iKfuafgrKaS9oIkntXEgrC&＃43;3wBOI0Gbx3AoGBANLAGxAF
TK7ydr&＃43;Q1&＃43;6/ujs6e8WsXt8HZMa/1khCVSbrf1MgACvZPSSSrDpVwaDTSjlRI4AL
bb0l0RFU&＃43;/0caMiHilscuJdz9Fdd9Ux4pjROZa3TF5CFhvP7PsZAoxOo&＃43;yqJg4zr
996GG/aAv4M8lQJ2rDFk/Dgn5y/AaAun1oM3AoGAGIQmoOPYjY4qkHNSRE9lYOl4
pZFQilKn8x5tlC8WTC4GCgJGhX7nQ9wQ/J1eQ/YkDfmznH&＃43;ok6YjHkGlgLsRuXHW
GdcDCwuzBUCWh76LHC1EytUCKnloa3qy8jfjWnMlHgrd3FtDILrC&＃43;C7p1Vj2FAvm
qVz0moiTpioPL8twp9MCgYEAin49q3EyZFYwxwdpU7/SJuvq750oZq0WVriUINsi
A6IR14oOvbqkhb94fhsY12ZGt/N9uosq22H&＃43;anms6CicoQicv4fnBHDFI3hCHE9I
pgeh50GTJHUA6Xk34V2s/kp5KpThazv6qCw&＃43;QubkQExh660SEdSlvoCfPKMCi1EJ
TukCgYAZKY1NZ2bjJyyO/dfNvMQ&＃43;etUL/9esi&＃43;40GUGyJ7SZcazrN9z&＃43;DO0yL39g
7FT9NMIc2dsmNJQMaGBCDl0AjO1O3b/wqlrNvNBGkanxn2Htn5ajfo&＃43;LBU7yHAcV
7w4X5HLarXiE1mj0LXFKJhdvFqU53KUQJXBqR6lsMqzsdPwLMJg&＃61;&＃61;
-----END RSA PRIVATE KEY-----"""private_key &＃61; paramiko.RSAKey(file_obj&＃61;StringIO(key_str))
transport &＃61; paramiko.Transport((&＃39;120.92.84.249&＃39;, 22))
transport.connect(username&＃61;&＃39;root&＃39;, pkey&＃61;private_key)ssh &＃61; paramiko.SSHClient()
ssh._transport &＃61; transportstdin, stdout, stderr &＃61; ssh.exec_command(&＃39;df&＃39;)
result &＃61; stdout.read()
print(result.decode(&＃39;utf-8&＃39;))
transport.close()print(result)

基于私钥字符串进行连接

SFTPClient

用于连接远程服务器并执行上传下载

基于用户名密码上传下载

import paramikotransport &＃61; paramiko.Transport((&＃39;120.92.84.249&＃39;,22))
transport.connect(username&＃61;&＃39;root&＃39;,password&＃61;&＃39;xxx&＃39;)sftp &＃61; paramiko.SFTPClient.from_transport(transport)
# 将location.py 上传至服务器 /tmp/test.py
sftp.put(&＃39;/tmp/id_rsa&＃39;, &＃39;/etc/test.rsa&＃39;)
# 将remove_path 下载到本地 local_path
sftp.get(&＃39;remove_path&＃39;, &＃39;local_path&＃39;)transport.close()

基于公钥密钥上传下载

import paramikoprivate_key &＃61; paramiko.RSAKey.from_private_key_file(&＃39;/tmp/id_rsa&＃39;)transport &＃61; paramiko.Transport((&＃39;120.92.84.249&＃39;, 22))
transport.connect(username&＃61;&＃39;root&＃39;, pkey&＃61;private_key )sftp &＃61; paramiko.SFTPClient.from_transport(transport)
# 将location.py 上传至服务器 /tmp/test.py
sftp.put(&＃39;/tmp/id_rsa&＃39;, &＃39;/tmp/a.txt&＃39;)
# 将remove_path 下载到本地 local_path
sftp.get(&＃39;remove_path&＃39;, &＃39;local_path&＃39;)transport.close()

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import paramiko
import uuidclass Haproxy(object):def __init__(self):self.host &＃61; &＃39;172.16.103.191&＃39;self.port &＃61; 22self.username &＃61; &＃39;root&＃39;self.pwd &＃61; &＃39;123&＃39;self.__k &＃61; Nonedef create_file(self):file_name &＃61; str(uuid.uuid4())with open(file_name,&＃39;w&＃39;) as f:f.write(&＃39;sb&＃39;)return file_namedef run(self):self.connect()self.upload()self.rename()self.close()def connect(self):transport &＃61; paramiko.Transport((self.host,self.port))transport.connect(username&＃61;self.username,password&＃61;self.pwd)self.__transport &＃61; transportdef close(self):self.__transport.close()def upload(self):# 连接&＃xff0c;上传file_name &＃61; self.create_file()sftp &＃61; paramiko.SFTPClient.from_transport(self.__transport)# 将location.py 上传至服务器 /tmp/test.pysftp.put(file_name, &＃39;/home/root/tttttttttttt.py&＃39;)def rename(self):ssh &＃61; paramiko.SSHClient()ssh._transport &＃61; self.__transport# 执行命令stdin, stdout, stderr &＃61; ssh.exec_command(&＃39;mv /home/root/tttttttttttt.py /home/root/ooooooooo.py&＃39;)# 获取命令结果result &＃61; stdout.read()ha &＃61; Haproxy()
ha.run()

Demo

七作业

题目:简单主机批量管理工具

需求:

1.主机分组
2.主机信息配置文件用configparser解析
3.可批量执行命令、发送文件&＃xff0c;结果实时返回&＃xff0c;执行格式如下
batch_run -h h1,h2,h3 -g web_clusters,db_servers -cmd "df -h"　
batch_scp -h h1,h2,h3 -g web_clusters,db_servers -action put -local test.py -remote /tmp/　
4.主机用户名密码、端口可以不同
5.执行远程命令使用paramiko模块
6.批量命令需使用multiprocessing并发

转载于:https://www.cnblogs.com/shangdelu/p/8434926.html

推荐阅读

get
ASP.NET 页面指令之 @OutputCache

缓存的重要性就不用再强调了，@OutputCache给我们提供了一种声明的方式(对应的还有编程的方式)来控制页面和用户控件的缓存策略，这是一种最简单直接的网站优化方式。还是先来过一遍@ ... [详细]

蜡笔小新 2024-09-27 12:38:16
int
C#使用System.Net.Mail类实现邮件发送【.Net开发】

这篇文章介绍了C#使用System.Net.Mail类实现邮件发送的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值， ... [详细]

蜡笔小新 2024-09-27 16:29:11
sum
分享一个快速开发动态互动HTML5可视化图形效果的Javascript类库Envision.js

日期：2012-4-7来源：GBin1.com在线演示本地下载今天我们介绍一个超棒的创建快速动态互动HTML5可视化图形效果的javascript类库-Envision.j ... [详细]

蜡笔小新 2024-09-27 12:50:24
web
20个免费的设计资源 UI套件背景图标CSS框架

来源|http:sudasuta.comfree-material-design-resources.html如果你正在寻找高品质，免费的设计资源，那么 ... [详细]

蜡笔小新 2024-09-26 18:17:17
int
一个不错的JDBC连接池教程（带具体例子）

1.前言数据库应用，在许多软件系统中经常用到，是开发中大型系统不可缺少的辅助。但如果对数据库资源没有很好地管理(如：没有及时回收数据库的游 ... [详细]

蜡笔小新 2024-09-27 20:22:03
web
挪动web开辟题目和经验总结

媒介这里大部份是本身碰到过的状况，另有一部份自创了偕行的文章，假如人人有碰到别的坑，迎接提出来一同研讨。学问要点1.Meta标签1.制止用户缩放页面，页面强迫让文档的宽度与装备的宽 ... [详细]

蜡笔小新 2024-09-27 18:54:57
client
docker整体了解

Docker是一个基于LXC技术构建的容器引擎，基于Go语言开发，遵循Apache2.0协议开源Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移 ... [详细]

蜡笔小新 2024-09-27 17:21:07
int
Java应用：编写高级JavaScript应用代码

1、创建高级对象使用构造函数来创建对象构造函数是一个函数，调用它来例示并初始化特殊类型的对象。可以使用new关键字来调用一个构造函数。下面给出了使用构造函数的新示例。 ... [详细]

蜡笔小新 2024-09-27 16:12:55
php
php – CURLOPT_RETURNTRANSFER设置为true无法在托管服务器上运行

我正在尝试处理来自$datacurl_exec($ch)的结果;而不是在屏幕上打印它.为了实现这一点,我将选项CURLOPT_RETURNTRANSFER设置为true,如下所示： ... [详细]

蜡笔小新 2024-09-27 15:02:45
sum
Spring Cloud笔记Spring Cloud Stream消息驱动（十五）

1.消息驱动概述1.SpringCloudStream是什么SpringCloudStream是一个构建消息驱动微服务的框架。应用程序通过Inpust和Outputs与Spri ... [详细]

蜡笔小新 2024-09-27 14:07:59
web
[网页设计]新手做网站必备软件。及下载地址~~~~（06年10月10日修订）

　　1、做网站先要从策划开始msvcp71dll下载。　　MicrosoftOffice2007Beta2简体中文版　　M ... [详细]

蜡笔小新 2024-09-27 14:02:11
php
mysql mmm搭建_搭建mysqlmmm高可用MySQL集群

实验需求：配置mysql-mmm，实现mysql的高可用MySQL-MMM实现MySQL高可用http:www.linuxidc.comLinux201 ... [详细]

蜡笔小新 2024-09-27 13:31:55
php
dremio的学习点滴

在连接数据源后，进行数据源反射的创建，dremio会在本地创建一个类似于副本的文件，具体目录未知，当下次去执行sql时，则会启动加速器进行查询速度的优化。反射策略：fullupda ... [详细]

蜡笔小新 2024-09-27 11:25:46
php
如何设计一个秒杀系统(各方面都写的很到位)

1.Overview1.1并发读写秒杀要解决的主要问题是：并发读与并发写。并发读的优化理念是尽量减少用户到服务端来读数据，或者让他 ... [详细]

蜡笔小新 2024-09-27 11:20:00
web
C＃库在HTML页面上突出显示Python代码的语法？ - C# library to syntax-highlight Python code on a HTML page?

Question:题：IsthereanyC#VB.NETlibrarythatcanproduceHTMLoutputfromPythonsourcecode?I ... [详细]

蜡笔小新 2024-09-27 02:23:23