Python全栈系列46fabric从入门到放弃

说明

本想用fabric&＃xff08;paramiko的作者开发的&＃xff09;&＃xff0c;发现新老版本存在较大的不同&＃xff0c;所以放弃了。还是用paramiko &＃43; sh脚本的方式。

1 远程主机

远程主机已经设置好了免密登录&＃xff0c;连接方式为直连或者frp透传。
可以使用一个conf文件记录自己的主机记录&＃xff08;因为使用秘钥&＃xff0c;所以里面没有密码&＃xff0c;相对还算安全&＃xff09;
machines.conf

[m1]
name &＃61; 大机器
host_ip &＃61; 111.222.333.444
user &＃61; root
port &＃61; 111[m2]
name &＃61; 小机器
host_ip &＃61; 111.222.333.444
user &＃61; root
port &＃61; 222


配置文件会被读入为有序字典&＃xff0c;然后就可以用了。

import DataManipulation as dm
res &＃61; dm.read_conf(&＃39;machines.conf&＃39;)


2 使用paramiko

2.1 SSH秘钥连接

paramiko可以指定一个路径来读取秘钥。

2.2 远程主机命令/反馈

paramikoe执行命令后会返回stdin, stdout, stderr三项&＃xff0c;我们可以只取stdout。


# 执行远程主机命令
def remote_ssh_exe_cmd(ssh_key_fpath&＃61;None, machine_conf_fpath&＃61;None, machine_code&＃61;None, cmd_line&＃61;None):# 私钥private_key &＃61; paramiko.RSAKey.from_private_key_file(ssh_key_fpath)# 机器配置res &＃61; dm.read_conf(machine_conf_fpath)client &＃61; paramiko.SSHClient()client.set_missing_host_key_policy(paramiko.AutoAddPolicy())hostname &＃61; res[machine_code][&＃39;host_ip&＃39;]username &＃61; res[machine_code][&＃39;user&＃39;]port &＃61; res[machine_code][&＃39;port&＃39;]try:client.connect(hostname&＃61;hostname, port&＃61;port,username&＃61;username, pkey&＃61;private_key)stdin, stdout, stderr &＃61; client.exec_command(cmd_line)try:# print(&＃39;a&＃39;)cmd_result &＃61; stdout.read().decode(&＃39;utf-8&＃39;)# print(cmd_result)except:# print(&＃39;b&＃39;)cmd_result &＃61; Noneexcept:print(&＃39;remote_ssh_exe_cmd error&＃39;)cmd_result &＃61; Nonefinally:client.close()return cmd_result


一般的调用方法如下&＃xff1a;

input_dict &＃61; {}
input_dict[&＃39;ssh_key_fpath&＃39;] &＃61; &＃39;私钥地址&＃39;
input_dict[&＃39;machine_conf_fpath&＃39;] &＃61; &＃39;./machines.conf&＃39;
input_dict[&＃39;machine_code&＃39;] &＃61; &＃39;m1&＃39;
input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;df -h&＃39;res &＃61; remote_ssh_exe_cmd(**input_dict)


3 应用功能

假设现在已经可以python程序执行远程操作了&＃xff0c;现在我们来做一些常见操作

3.1 获取远程主机状态

• 1 主机名

In [24]: input_dict &＃61; {}...: input_dict[&＃39;ssh_key_fpath&＃39;] &＃61; &＃39;YOURS/.ssh/id_rsa&＃39;...: input_dict[&＃39;machine_conf_fpath&＃39;] &＃61; &＃39;./machines.conf&＃39;...: input_dict[&＃39;machine_code&＃39;] &＃61; &＃39;m1&＃39;...: input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;hostname&＃39;...:...: print(dm.remote_ssh_exe_cmd(**input_dict)[1])
andy-Z97X-UD3H


• 2 ip

input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;&＃39;&＃39;ifconfig -a&＃39;&＃39;&＃39;
print(dm.remote_ssh_exe_cmd(**input_dict)[1])
---


• 3 内存

In [27]: # 内存...: input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;&＃39;&＃39;free -m&＃39;&＃39;&＃39;...: print(dm.remote_ssh_exe_cmd(**input_dict)[1])total used free shared buff/cache available
Mem: 32026 6293 15983 213 9749 24910
Swap: 57251 0 57251


• 4 cpu详情

In [28]: # cpu...: input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;&＃39;&＃39;cat /proc/cpuinfo&＃39;&＃39;&＃39;...: print(dm.remote_ssh_exe_cmd(**input_dict)[1])
processor : 0
vendor_id : GenuineIntel
cpu family : 6


• 5 cpu&＃xff08;逻辑&＃xff09;个数

In [29]: # cpu个数...: input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;&＃39;&＃39;cat /proc/cpuinfo |grep "processor"|wc -l &＃39;&＃39;&＃39;...: print(dm.remote_ssh_exe_cmd(**input_dict)[1])
8


• 6 磁盘占用

In [30]: # 磁盘占用...: input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;&＃39;&＃39;df -h&＃39;&＃39;&＃39;...: print(dm.remote_ssh_exe_cmd(**input_dict)[1])
文件系统 容量 已用 可用 已用% 挂载点
udev 16G 0 16G 0% /dev
tmpfs 3.2G 66M 3.1G 3% /run


• 7 cpu温度

In [31]: # cpu温度...: input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;&＃39;&＃39;sensors&＃39;&＃39;&＃39;...: print(dm.remote_ssh_exe_cmd(**input_dict)[1])
acpitz-virtual-0
Adapter: Virtual device
temp1: &＃43;27.8°C (crit &＃61; &＃43;105.0°C)
temp2: &＃43;29.8°C (crit &＃61; &＃43;105.0°C)coretemp-isa-0000
Adapter: ISA adapter
Package id 0: &＃43;69.0°C (high &＃61; &＃43;80.0°C, crit &＃61; &＃43;100.0°C)
Core 0: &＃43;67.0°C (high &＃61; &＃43;80.0°C, crit &＃61; &＃43;100.0°C)
Core 1: &＃43;69.0°C (high &＃61; &＃43;80.0°C, crit &＃61; &＃43;100.0°C)
Core 2: &＃43;67.0°C (high &＃61; &＃43;80.0°C, crit &＃61; &＃43;100.0°C)
Core 3: &＃43;65.0°C (high &＃61; &＃43;80.0°C, crit &＃61; &＃43;100.0°C)


• 8 获取资源占用情况&＃xff08;抓取htop的日志&＃xff0c;后补&＃xff09;

3.2 获取某个文本文件的内容

在m1主机建立/tmp/test.txt

hello test


在Macbook上(m0)执行

import DataManipulation as dminput_dict &＃61; {}
input_dict[&＃39;ssh_key_fpath&＃39;] &＃61; &＃39;YOURS/.ssh/id_rsa&＃39;
input_dict[&＃39;machine_conf_fpath&＃39;] &＃61; &＃39;./machines.conf&＃39;
input_dict[&＃39;machine_code&＃39;] &＃61; &＃39;m1&＃39;
input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;cat /tmp/test.txt&＃39;print(dm.remote_ssh_exe_cmd(**input_dict)[1])
---
In [12]: run test4_file.py
hello test


3.3 为文件建立副本

m0端

# 建立副本
input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;cp /tmp/test.txt /tmp/test.txt.bak_1234&＃39;
print(dm.remote_ssh_exe_cmd(**input_dict)[1])


m1端

┌─root&＃64;andy-Z97X-UD3H:/tmp
└─ $ ls
test.txt
test.txt.bak_1234
---
┌─root&＃64;andy-Z97X-UD3H:/tmp
└─ $ cat test.txt.bak_1234
hello test


3.4 覆盖文件内容

在m0端执行

# 覆盖文件内容
new_content&＃61;&＃39;hello new content&＃39;
input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;echo "%s">/tmp/test.txt&＃39; %new_content
print(dm.remote_ssh_exe_cmd(**input_dict)[1])


在m1端执行

┌─root&＃64;andy-Z97X-UD3H:/tmp
└─ $ cat test.txt
hello new content


3.5 追加写入内容

在m0端执行

## 追加写入内容
new_content &＃61; &＃39;hello new content 1&＃39;
input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;echo "%s">>/tmp/test.txt&＃39; % new_content
print(dm.remote_ssh_exe_cmd(**input_dict)[1])


在m1端执行

┌─root&＃64;andy-Z97X-UD3H:/tmp
└─ $ cat test.txt
hello new content
hello new content 1


3.6 只修改某一行文本

m0端执行

## 注释第二行
input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;cat /tmp/test.txt&＃39;
# 1.先读取文件。使用换行符分割&＃xff0c;末尾会多出一行
original_content &＃61; dm.remote_ssh_exe_cmd(**input_dict)[1].split(&＃39;\n&＃39;)[:-1]
original_content[1] &＃61; &＃39;#&＃39; &＃43; original_content[1]
# 2 再覆盖写回文件
input_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;echo "%s">/tmp/test.txt&＃39; % &＃39;\n&＃39;.join(original_content)
print(dm.remote_ssh_exe_cmd(**input_dict)[1])


m1端执行

┌─root&＃64;andy-Z97X-UD3H:/tmp
└─ $ cat test.txt
hello new content
#hello new content 1


3.7 传送文件/文件夹

什么是scp&＃xff1f;scp是一种基于SSH的协议&＃xff0c;可在网络上的主机之间提供文件传输。 使用scp&＃xff0c;您可以在主机之间快速传输文件以及基本文件属性&＃xff0c;例如访问权限和通过FTP无法可用的时间戳。

文件的传输我使用了scp&＃xff0c;比sftp应该更好一些&＃xff0c;详情可以参考这篇文章

scp在paramiko里面的支持也有点怪&＃xff0c;不想用paramiko实现这个功能。突然发现我似乎也没有必要用paramiko这个包&＃xff0c;因为大部分的命令是确知的、简单的命令。

# scp方法从远程获得文件
import os
def scp_get_file_from_remote(machine_conf_fpath &＃61; None,machine_code &＃61;None, remote_absfpath &＃61; None, local_absfpath&＃61;None ,mode&＃61;&＃39;file&＃39;):assert all([machine_code,remote_absfpath, local_absfpath]),&＃39;机器号、远程文件地址和本地文件地址不为空&＃39;if mode.lower() &＃61;&＃61;&＃39;file&＃39;:# 如果是文件opt &＃61; &＃39;&＃39;else:opt &＃61; &＃39;-r&＃39;# 从机器配置文件里获取信息并组成用户&＃43;主机的前缀machine_conf &＃61; dm.read_conf(machine_conf_fpath)## 从远端获取文件到本地remote_port &＃61; machine_conf[machine_code][&＃39;port&＃39;]remote_host &＃61; machine_conf[machine_code][&＃39;user&＃39;] &＃43;&＃39;&＃64;&＃39;&＃43; machine_conf[machine_code][&＃39;host_ip&＃39;]remote_fpath &＃61; remote_host &＃43; &＃39;:&＃39; &＃43; remote_absfpathscp_cmd_line &＃61; &＃39;scp -P{0} {1} {2} {3}&＃39;.format(remote_port, opt, remote_fpath, local_absfpath)return os.system(scp_cmd_line)scp_input_dict &＃61; {}
scp_input_dict[&＃39;machine_conf_fpath&＃39;] &＃61; &＃39;./machines.conf&＃39;
scp_input_dict[&＃39;machine_code&＃39;] &＃61; &＃39;m1&＃39;
scp_input_dict[&＃39;remote_absfpath&＃39;] &＃61; &＃39;/tmp/test.txt&＃39;
scp_input_dict[&＃39;local_absfpath&＃39;] &＃61; &＃39;/YOURPATH/test_xxx1.txt&＃39;scp_get_file_from_remote(**scp_input_dict)
---
如果要拷贝文件夹的化&＃xff0c;就在入参的地方把mode改为folder&＃xff08;其实不为file就可以&＃xff09;


从本地传到远端的几乎一样&＃xff0c;就不写了。

既然是自建算网&＃xff0c;那么我可以设定一台机器作为数据中转中心(NAS)。
我发现反而需要做的只是&＃xff1a;为需要通信的主机生成秘钥对&＃xff0c;然后分发到对应主机的ssh文件下面就可以了(authorized_keys)。这样任何一台主机需要数据就可以直接获取。

接下来就把这些操作封装到DM里面就可以方便调用了。

4 操作日志

使用sh命令操作是一个很需要小心的事情&＃xff08;一不小心就崩溃了&＃xff09;&＃xff0c;一方面我们将操作简化和固定化&＃xff1b;另一方面需要mongo记录操作日志&＃xff0c;使用opr_id作为记号&＃xff08;操作前进行backup,命名为backup_before_opr_xxx)&＃xff0c;这样万一搞砸了还有一线机会恢复&＃xff08;例如写一个roll_back_by_checkpoint&＃xff09;。

关于python操作mongo的介绍可以看我这篇文章。

以下是个例子,这里用with的方法是为了避免操作打开太多数据库连接&＃xff08;存完数据就释放&＃xff09;&＃xff1a;

import pymongo
import DataManipulation as dm
import time
with pymongo.MongoClient(&＃39;mongodb://localhost:27017/&＃39;) as conn:db &＃61; conn[&＃39;andylog&＃39;]colt &＃61; db[&＃39;log1&＃39;]log_dict &＃61; {}log_dict[&＃39;operator&＃39;] &＃61; &＃39;andy&＃39;log_dict[&＃39;opr_id&＃39;] &＃61; &＃39;op001&＃39;log_dict[&＃39;create_time&＃39;] &＃61; dm.get_curdatetime_str()log_dict[&＃39;event&＃39;] &＃61; &＃39;cat file&＃39;log_dict[&＃39;cmd_line&＃39;] &＃61; &＃39;cat /tmp/test.txt&＃39;log_dict[&＃39;ts&＃39;] &＃61; time.time()colt.insert_one(log_dict)


数据库里的变化&＃xff1a;

> db.log1.find()
{ "_id" : ObjectId("5fab5975e1dbe95ebf0444b6"), "operator" : "andy", "opr_id" : "op001", "create_time" : "2020-11-11 11:24:37", "event" : "cat file", "cmd_line" : "cat /tmp/test.txt", "ts" : 1605065077.215517 }
>


关于opr_id&＃xff1a;

• 1 我们希望操作的顺序可以以abc123的方式比较好的存下来&＃xff0c;但是如果考虑并发模式的话会比较难。
• 2 可以加一个session的概念。例如按时间&＃xff08;2020-11-11 11:24:37&＃xff09;、操作类型&＃xff08;cat file&＃xff09;、用户、主机、APP的方式标志一个唯一的session&＃xff0c;在每个session里维持操作顺序&＃xff08;由同一个进程/线程管理和存储&＃xff09;