pythonpipeline转jenkins_Jenkins:创建第一个Pipeline

流水线视图可以很直观地看到每一步执行的时间和进度&＃xff0c;方便追踪部署过程中的每一个环节。

搭建 jenkins 参考 上一篇文章

工作流

本文目的是搭建一个简单的 pipeline&＃xff0c;当 git 仓库有提交时&＃xff0c;builder server 进行构建和测试&＃xff0c;完成之后 deploy server 进行部署。

本地 -> SCM: 提交代码

SCM -> Build Server: 触发 jenkins 任务

Build Server: 启动 pipeline

Build Server -> Deploy Server: 部署服务

SCM Source Code Management&＃xff0c;如 github

Build Server jenkins 所在机器&＃xff0c;负责构建

Deploy Server 线上服务所在机器

新建 Task

首先创建一个 Task&＃xff0c;然后选择流水线模板

配置

Pipeline

在这里可以配置 pipeline 的脚本&＃xff0c;definition 可以选择 Pipeline script 或 Pipeline script from SCM。

选择前者后&＃xff0c;jenkins 脚本需要在下方填写&＃xff0c;当任务启动后&＃xff0c;jenkins 会执行这里配好的命令&＃xff1b;选择后者后&＃xff0c;任务启动后&＃xff0c;jenkins 会去执行 SCM 仓库下配置的 script path 下的脚本。

一句话说&＃xff0c;两者区别在于脚本是写在 jenkins 配置里&＃xff0c;还是写在你的代码仓库里。所以修改脚本的时候在 jenkins 里配就行&＃xff0c;方便调试&＃xff0c;没问题之后使用 SCM 管理更好。

编写 pipeline script

以 node 服务举例&＃xff0c;部署过程分为四步&＃xff1a;

Build: 在 build server 上 npm install

Test: 在 build server 上进行测试

Deploy: 在 deploy server 上部署

这个脚本如下&＃xff0c;需要将 [user] 和 [ip] 替换成 deploy server 的登录用户和 ip&＃xff1a;

pipeline {

agent any

stages {

stage(&＃39;Build&＃39;) {

steps {

sh "npm install"

}

}

stage(&＃39;Test&＃39;) {

steps {

sh "npm test"

}

}

stage(&＃39;Deploy&＃39;) {

steps {

sh """

ssh -o stricthostkeychecking&＃61;no [user]&＃64;[ip] "

source /etc/profile

cd /root/projects/my-api-server

git pull

npm install

pm2 reload wool-digger-api

"

"""

}

}

}

}

当然这是一个很粗糙的构建方式&＃xff0c;可以稍后查看 使用 docker 进行改造。

主要概念有

agent 指示 Jenkins 分配一个执行器和工作空间来执行下面的Pipeline

stage 表示这个 Pipeline 的一个执行阶段&＃xff0c;对应流水线中各个环节

steps 表示在这个 stage 中每一个步骤

sh 命令用来执行一条 shell 语句。 这个配置文件被执行后&＃xff1a;

首先 jenkins 会在工作区&＃xff08;一般来说在 ~/.jenkins/workspace/&＃xff09;下拉取配置仓库指定分支的代码

pull 成功后进行 npm install&＃xff08;Build&＃xff09;

build 成功之后进行 npm test&＃xff08;Test&＃xff09;

test 成功后远程执行一段脚本&＃xff0c;即登录 deploy server 并 cd 到服务目录&＃xff0c;然后进行服务的更新重启操作。

npm/pm2 not found 的问题

注意上面 Deploy 中有一行 source /etc/profile&＃xff0c;这是 login shell 和 no-login shell 的不同。

如果使用 ssh 登录再执行命令和脚本&＃xff0c;用户会获得 login shell&＃xff0c;shell 首先会加载 /etc/profile 文件&＃xff0c;然后依次尝试 ~/.bash_profile、~/.bash_login 和 ~/.profile。

而如果直接使用 ssh 远程执行命令和脚本&＃xff0c;如上面的 ssh -o&＃xff0c;它不会去执行 /etc/profile 文件&＃xff0c;而会去用户的 HOME 目录检查 .bashrc 并加载。所以在 /etc/profile 中设置的 path 不会生效。如果 nvm 在此文件中&＃xff0c;那么 node、npm、pm2 等等就找不到了。

解决方法可以在 shell 脚本中先手动加载配置文件。

Build Triggers

在这里可以配置 pipeline 触发的类型

Github hook trigger fro GITScm polling

启动该项后可以通过 GitHub 的 webhook 来触发&＃xff0c;参考 Github Plugin 文档

这里说一下最简单的配置&＃xff0c;即手动配置。

在 Jenkins -> 系统管理 -> 系统设置中&＃xff0c;可以找到 Git 配置&＃xff0c;点击右边的问号按钮&＃xff0c;可以看到默认的 jenkins hook 地址。

一般来说默认都是 $JENKINS_BASE_URL/github-webhook/。拿到这个地址后&＃xff0c;添加到 github 的 webhook 中。

注意 这个地址是没有项目信息的&＃xff0c;因为 github 调用这个 hook 地址时&＃xff0c;会把仓库信息传过去&＃xff0c;所以就只剩在 jenkins 中把 pipeline 和这个 git 仓库关联起来。这需要在 pipeline 中选择 Pipeline script from SCM 并填写 git 地址。

轮询 SCM

启动该项后&＃xff0c;jenkins 将定时对 SCM 仓库进行轮询&＃xff0c;当仓库有新提交时&＃xff0c;会自动触发 pipeline。

Schedule 填写规则与 crond 类似&＃xff0c;如 H/5 * * * * 代表每 5 分钟查询一次。详细规则可以点击右边的问号。

启动

点击 立即构建&＃xff0c;或去仓库提交一个 commit&＃xff08;如果配置了 github hook&＃xff09;&＃xff0c;或提交一个 commit 并等待&＃xff08;如果配置了轮询 SCM&＃xff09;&＃xff0c;然后就能看到我们的第一个 pipeline 启动了&＃xff01;