SaltStack返回值存储

1. 概述

默认情况下，发送给 minions 的命令的返回值将返回给 master。

通过使用salt定向器，可以将结果数据重定向到外部数据存储区，以便进行分析和归档。

returner接口允许返回数据被发送到任何可以接收数据的系统。这意味着返回的数据可以发送到Redis服务器，MongoDB服务器，MySQL服务器，或任何系统。

重定向返回值的组件：

• return


• job_cache

2. return组件

return组件支持minion端执行命令后将执行结果返回给某应用程序进行保存

return组件支持的对结果进行的存储方式有多种，如syslog, mysql, redis, mongodb等

可通过如下指令查看returners支持的存储方式：

[root@node01 ~]# salt '*' sys.list_returners
node02:- carbon- couchdb- elasticsearch- etcd- highstate- local- local_cache- mattermost- multi_returner- pushover- rawfile_json- slack- slack_webhook- smtp- splunk- sqlite3- syslog- telegram


2.1 return工作流程

return是在Master端触发任务，然后Minion接受处理任务后直接与return存储服务器建立连接，然后把数据return存到存储服务器。

关于这点一定要注意，因为此过程都是Minion端操作存储服务器，所以要确保Minion端的配置跟依赖包是正确的，这意味着我们将必须在每个Minion上安装指定的return方式依赖包，假如使用Mysql作为return存储方式，那么我们将在每台Minion上安装 MySQL-python 模块。

2.2 return重定向至mysql

环境：

在minion上安装MySQL-python模块

[root@node01 ~]# salt '*' pkg.install MySQL-python
node02:----------MySQL-python:----------new:1.2.5-1.el7old:


部署一台mysql服务器用作存储服务器：

[root@node03 ~]# yum -y install mariadb-server
[root@node03 ~]# systemctl enable --now mariadb//创建数据库和表结构
[root@node03 ~]# mysql
MariaDB [(none)]> CREATE DATABASE `salt`DEFAULT CHARACTER SET utf8DEFAULT COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)MariaDB [(none)]> USE `salt`;
Database changedMariaDB [salt]> CREATE TABLE `jids` (`jid` varchar(255) NOT NULL,`load` mediumtext NOT NULL,UNIQUE KEY `jid` (`jid`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)MariaDB [salt]> CREATE TABLE `salt_returns` (`fun` varchar(50) NOT NULL,`jid` varchar(255) NOT NULL,`return` mediumtext NOT NULL,`id` varchar(255) NOT NULL,`success` varchar(10) NOT NULL,`full_ret` mediumtext NOT NULL,`alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,KEY `id` (`id`),KEY `jid` (`jid`),KEY `fun` (`fun`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.00 sec)MariaDB [salt]> CREATE TABLE `salt_events` (`id` BIGINT NOT NULL AUTO_INCREMENT,`tag` varchar(255) NOT NULL,`data` mediumtext NOT NULL,`alter_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,`master_id` varchar(255) NOT NULL,PRIMARY KEY (`id`),KEY `tag` (`tag`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Query OK, 0 rows affected (0.01 sec)MariaDB [salt]> show tables;
+----------------+
| Tables_in_salt |
+----------------+
| jids |
| salt_events |
| salt_returns |
+----------------+
3 rows in set (0.00 sec)//授权访问
MariaDB [salt]> grant all on salt.* to salt@'%' identified by 'salt';
Query OK, 0 rows affected (0.00 sec)MariaDB [salt]> flush privileges;
Query OK, 0 rows affected (0.00 sec)


配置minion：

[root@node02 ~]# vim /etc/salt/minion
mysql.host: '172.16.78.129'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306
[root@node02 ~]# systemctl restart salt-minion


在master上测试存储到mysql中，并在数据库中查看

[root@node01 ~]# salt '*' test.ping --return mysql
node02:TrueMariaDB [salt]> select * from salt_returns\G
*************************** 1. row ***************************fun: test.pingjid: 20200822090413404092return: trueid: node02success: 1full_ret: {"fun_args": [], "jid": "20200822090413404092", "return": true, "retcode": 0, "success": true, "fun": "test.ping", "id": "node02"}
alter_time: 2020-08-23 01:02:28


3. job cache组件

return时是由Minion直接与存储服务器进行交互，因此需要在每台Minion上安装指定的存储方式的模块，
当Minion很多的时候，部署起来就特别麻烦

那么我们能否直接在Master上就把返回的结果给存储到存储服务器呢？

job cache解决了这个问题 。job cache是当Minion将结果返回给Master后，由Master将结果给缓存在本地，然后将缓存的结果给存储到指定的存储服务器

3.1 job cache重定向至mysql

环境：

开启master端的master_job_cache：

[root@node01 ~]# vim /etc/salt/master
master_job_cache: mysql
mysql.host: '172.16.78.129'
mysql.user: 'salt'
mysql.pass: 'salt'
mysql.db: 'salt'
mysql.port: 3306
[root@node01 ~]# systemctl restart salt-master


在数据库服务器中清空表内容：

[root@node03 ~]# mysql
MariaDB [salt]> delete from salt.salt_returns;
Query OK, 2 rows affected (0.00 sec)
MariaDB [salt]> select * from salt.salt_returns\G
Empty set (0.00 sec)


在master上再次测试能否存储至数据库：

[root@node01 ~]# salt '*' test.ping
node02:TrueMariaDB [salt]> select * from salt_returns\G
*************************** 1. row ***************************fun: test.pingjid: 20200822090413404092return: trueid: node02success: 1full_ret: {"fun_args": [], "jid": "20200822090413404092", "return": true, "retcode": 0, "success": true, "fun": "test.ping", "id": "node02"}
alter_time: 2020-08-23 01:02:28


3.2 job管理

获取任务的jid

[root@node01 ~]# salt '*' test.ping -v
Executing job with jid 20200822131258343023
-------------------------------------------node02:True


通过jid获取此任务的返回结果

[root@node01 ~]# salt-run jobs.lookup_jid 20200822131258343023
node02:True