CI(Continuous integration,中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了
新代码之后,立刻进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确
地集成在一起。
CD(Continuous Delivery, 中文意思持续交付)是在持续集成的基础上,将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如,我们完成单元测试后,可以把代码部署到连接数据库的Staging环境中更多的测试。如果代码没有问题,可以继续手动部署到生产环境。
CI/CD一起可以加快团队为客户和利益相关者交互成果的速度。CI 和 CD必须无缝协作,以使您的团队快速有效的进行构建,并且对于确保完全优化的开发实践至关重要。
根据持续集成的设计,代码从提交到生产,整个过程有以下几步:
提交
流程的第一论,是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交(commit)
测试(第一轮)
代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试.
构建
通过第一轮测试,代码就可以合并进主干。就算可以交付了。
交付后,就先进行构建(build),再进入第二轮测试。所谓构建,指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源〔样式表、JS脚本、图片)等等。
测试(第二轮)
构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时构建步骤也要移到第一轮测试前面。
部署
过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包(tarfilename.tar*]存档,发到生产服务器。
回滚
一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录。
Gitlab CI/CD
Gitbal Runner
.gitlab-ci.yml文件
为了运行测试,至少需要一个Gitlab实例和一个Gitlab Runner。
Jenkins是一个广泛用于持续集成的可视化web自动化工具
,Jenkins可以很友好的支持各种语言的项目构建,也可以完全兼容ant maven、gradle等多种第三方构建工具,同时跟svn git能无缝集成,也支持直接与知名源代码托管网站,比如 github、bitbucket直接集成,而且插件众多,在这么多年的"技术积累之后,在国内大部分公司都有使用Jenkins。
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具。主要做的事情就是从git中拉取代码,根据配置信息打包
;把打好的包传输到目标服务器,并可以执行一些shell脚本,使项目打包发布一键完成。
官网:https://www.jenkins.io/
使用三台服务器:一台Gitlab仓库服务器、一台Jenkins服务器(JDK、Git、Maven)、一台Tomcat测试服务器。
官网:https://about.gitlab.com/
GitLab是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。
GitLab和GitHub一样属于第三方基于Git开发的作品,免费且开源(基于MIT协议),与Github类似,可以注册用户,任意提交你的代码,添加SSHKey等等。不同的是,GitLab是可以部署到自己的服务器上,数据库等一切信息都掌握在自己手上,适合团队内部协作开发。
Github服务器在别人手上,所有的代码需要上传到别人的服务器上。Gitlab可以看作是一个个人版的Github.
1.安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients postfix
2.启动ssh服务&设置为开机启动
systemctl enable sshd && systemctl start sshd
3.设置postfix开机自启,并启动,postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix
4.开放ssh以及http服务,然后重新加载防火墙列表
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload
如果关闭防火墙就不需要做以上配置
关闭防火墙和增强机制
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
#使用命令行模式在线下载
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/gitlabce/yum/el7/gitlab-ce-12.10.14-ce.0.el7.x86_64.rpm
#--no-check-certificate 不进行证书验证
rpm -ivh gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm
widows下载安装包:https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.10.14-ce.0.
el7.x86_64.rpm
vim /etc/gitlab/gitlab.rb
external_url 'http://xxxxxxx' #29行,ip地址:端口;外部访问的地址
nginx['listen_port'] = 82 #1197默认注释。修改为82端口
unicorn['worker_processes'] = 2 #736行,设置gitlab占用内存大小
重载配置及启动gitlab
gitlab-ctl reconfigure #重新加载配置
gitlab-ctl restart #重启服务
#开机自启
systemctl enable gitlab-runsvdir.service
试着用IP 直接访问 IP:82 10.148.158.4:82
修改管理员密码后,即可登录
权限等级分三种:
代码上传
git config --global user.name "root" #全局声明
git clone http://10.148.158.4:root/web-test.git #将项目克隆到服务器
输入密码:12345678
cd web-test #切换目录
git add . #将代码上传到工作区
git commit -m "Initial commit" #提交代码申明
git push -u origin master #将代码推送到Gitlab
如图所示:
点击创建,在生成用户的右侧点击创建密码
点下下面的保存你修改,save change!
如图所示:
Gitlab用户在组里面有5种不同权限:
Guest:可以创建issue、发表评论,不能读写版本库
Reporter:可以克隆代码,不能提交,QA、PM可以赋予这个权限
Developer:可以克隆代码、开发、提交、push,普通开发可以赋予这个权限
Maintainer:可以创建项目、添加tag、保护分支、添加项目成员、编辑项目,核心开发可以赋予这个权限
Owner:可以设置项目访问权限·Visibility Level、删除项目、迁移项目、管理组成员,开发组组长可以赋予这个权限
官网:https://www.jenkins.io/
新版的Jenkins需要安装JDK11的JAVA环境,所以我们首先要配置JDK
下载完之后拖到opt目录下
#安装JDK11
rpm -ivh jdk-11.0.15.1_linux-x64_bin.rpm
#安装Jenkins
rpm -ivh jenkins-2.332.3-1.1.noarch.rpm
vim /etc/sysconfig/jenkins
JENKINS_PORT="8080" #修改默认端口,根据所需修改
systemctl start jenkins.service
在浏览器访问IP:端口【记得这里要把防火墙给关闭!】
在浏览器访问,选择自行选择插件安装
第一次进入后,会让创建一个管理员账户与密码
Jenkins->Manage Jenkins->Manage Plugins,点击Available,搜索Chinese、Locale插件
在Manage Jenkins–>Configure System中设置如下
解决插件安装完,中文简体部分不翻译在Locale中,将语言设置为en_US,重启,再设置为zh_CN;注:zh_TW为中文繁体
【因为版本问题可能会导致部分英文无法被识别】
Role-based Authorization Strategy:主要用于用户权限管理
添加完后可以再管理界面看到如下功能选项
点击进入
Glabal rales (全局角色):管理员等高级用户可以创建基于全局的角色
Project roles(项目角色)︰针对菜个或者某些项目的角色
Node rales(节点角色)︰节点相关的权限
我们添加以下三个角色:
TEST: 该角色为全局角色。这个角色需要绑定Dverall下面的Read权限,是为了给所有用户绑定最基本的jenkins访问权限。
注意:如果不给后续用户绑定这个角色,会报错误:用户名is missing the Overall/Read permission
test1:该角色为项目角色。使用正则表达式绑定zzh.*,意思是只能操作zzh开头的项目。
test2:该角色也为项目角色。绑定wxd.*,意思是只能操作wxd开头的项目。
路径:系统管理–>管理用户–>新建用户
新建两个用户001与002
系统管理–>Manage and Assign Roles–>Assign Rples
在首页新建任务中,创建两个自由风格项目
切换账户进行访问
凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等,以便Jenkins可以和这些第三方的应用进行交互。
安装完插件后在系统管理,多了两个功能菜单
路径:系统管理–>Manage Credentials
Username with password:用户名和密码 比如使用Gitlab拉取代码
SSH Username with private key:使用SSH用户和密钥 SSH免密登录
Secret file:需要保密的文本文件,使用时Jenkins会将文件复制到一个临时目录中,再将文件路径设置到
一个变量中,等构建结束后,所复制的Secret file就会被删除。
Secret text:需要偃存的一个加密的文本串,如钉钉机器人或Github的api token
Certificate:通过上传证书文件的方式
常用的凭证类型有: Username with password(用户密码)和SSH Username with private key (SSH密
钥)
接下来以使用Git工具到Gitlab拉取项目源码为例,演示Jenkins的如何管理Gitlab的凭证。
为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件以及在CentOs7上安装Git工具Git插件安装
打开服务器安装Git工具
yum install -y git #安装git工具
git --version #查看git版本
SSH免密登录
路径:系统管理-->Manage Credentials
在Gitlab服务器上,使用root用户生成钥匙对
ssh-keygen
#/root/.ssh/目录保存公钥和使用
id_rsa:私钥文件
id_rsa.pub:公钥文件
把生成的公钥放在Gitlab中,使用root用户登录Gitlab
查看服务器上的公钥内容
将私钥内容复制到Jenkins
生成后的凭证:
打开gitlab,选择仓库,复制仓库ssh克隆地址
测试,选择zzh001的任务,选择立即构建进行拉取gitlab代码
在Jenkins集成服务器上,我们需要安装Maven来编译和打包项目。
Maven官网:https://maven.apache.org/download.cgi
上传Maven软件【在Jenkins的服务器上装】
tar -xf apache-maven-3.8.6-bin.tar.gz #解压
mv apache-maven-3.8.6 /usr/local/maven #移动文件
#配置环境变量
vim/etc/profile
export JAVA_HOME=/usr/java/jdk-11.0.15.1
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
#刷新配置
source /etc/profile
mvn -v #查找Maven版本
行尾添加【按G到行尾,按o输入】
打开全局工具设置
应用保存
打开系统设置
mkdir /opt/repo #创建本地仓库目录
vim /usr/local/maven/conf/settings.xml
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#上传安装包
apache-tomcat-9.0.16.tar.gz #tomcat安装包
jdk-8u201-linux-x64.rpm #JDK安装包
#解压,安装JDK
rpm -ivh jdk-8u201-linux-x64.rpm
#新建文件
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
#刷新变量
source /etc/profile.d/java.sh
使用java -version查看版本
#在服务台测试
mvn help:system
#出现如下,则说明mvn配置正确
#解压安装包
cd /opt
tar -xf apache-tomcat-9.0.16.tar.gz
#移动解压包到指定目录
mv apache-tomcat-9.0.16 /usr/local/tomcat
#创建用户,便于管理服务
useradd -M -s /sbin/nologin tomcat
chown -R tomcat:tomcat /usr/local/tomcat
#添加启动脚本:
vim /etc/init.d/tomcat
#!/bin/bash
#chkconfig: 35 80 25
#description:Tomcat Service Control Script
start="/usr/local/tomcat/bin/startup.sh"
stop="/usr/local/tomcat/bin/shutdown.sh"
case "$1" in
start)
$start
;;
stop)
$stop
;;
restart)
$0 stop
$0 start
;;
*)
echo "$0 {start|stop|restart}"
esac
#设置:
chmod +x /etc/init.d/tomcat #添加执行权限
chkconfig --add tomcat #添加到系统服务
systemctl start tomcat
lsof -i:8080 #查看服务是否启动
#添加tomcat用户密码用于终端登录
vim /usr/local/tomcat/conf/tomcat-users.xml
<tomcat-users>
<role rolename&#61;"tomcat"/>
<role rolename&#61;"role1"/>
<role rolename&#61;"manager-script"/>
<role rolename&#61;"manager-gui"/>
<role rolename&#61;"manager-status"/>
<role rolename&#61;"admin-gui"/>
<role rolename&#61;"admin-script"/>
<user username&#61;"tomcat" password&#61;"123456" roles&#61;"tomcat,manager-script,manager-gui,admin-gui,admin-script"/>
</tomcat-users>
#开启终端访问&#xff0c;修改以下配置&#xff0c;默认不许允许远程访问&#xff0c;现在需要注释掉
vim /usr/local/tomcat/webapps/manager/META-INF/context.xml
重启服务&#xff1a;systemctl start tomcat
Pipeline支持两种语法:
Declarative(声明式)和Scripted Pipeline(脚本式)语法Pipeline也有两种创建方法:
**可以直接在Jenkins的Web UI界面中输入脚本;也可以通过创建一个Jenkinsfile脚本文件放入项目源码库中(一般我们都推荐在Jenkins 中直接从源代码控制(SCM)中直接载入Jenkinsfile Pipeline这种方法)。如图所示&#xff1a;
Pipeline分为&#xff1a;脚本式、声明式&#xff0c;2.0以后推荐使用声明式脚本
声明式&#xff1a;以pipeline开头 stages之前&#xff0c;可以加入环境、jdk、maven等配置&#xff0c;
stages&#xff08;一个&#xff09;阶段下有多个stage&#xff0c;stage下有steps&#xff0c;拉取代码等操作
pipeline {
agent any
stages {
stage(&#39;pull code&#39;) {
steps {
echo &#39;开始拉取代码&#39;
}
}
stage(&#39;build project&#39;) {
steps {
echo &#39;开始构建&#39;
}
}
stage(&#39;publish project&#39;) {
steps {
echo &#39;正在部署&#39;
}
}
}
}
能够看到刚刚的操作&#xff01;
查看Jenkins工作空间/var/lib/jenkins/workspace/
如图所示:
将代码放入脚本中
再次点击应用、保存&#xff0c;并构建
查看控制台输出
查看Jenkins工作空间
如图所示&#xff1a;
选择流水线语法&#xff0c;生成pipeline脚本
deploy adapters: [tomcat9(credentialsId: &#39;8108a31f-a1bc-4350-9cfb-147bafaae1e8&#39;,
path: &#39;&#39;, url: &#39;http://192.168.48.13:8080&#39;)], contextPath: null, war: &#39;**/*.war&#39;
将脚本内容复制到代码中
点击应用、保存&#xff0c;并构建&#xff0c;查看控制台输出
访问tomcat界面
小编的内容就讲到这里&#xff01;闲暇之余写的大家喜欢点点关注小爱心哦&#xff01;