gitlabrunnerdocker基于sftp实现项目CI/CD自动部署

最近在给单位组建了CI/CD&＃xff0c;要求对开发人员git的代码进行build和deploy&＃xff0c;第一次从头研究CI/CD&＃xff0c;真的踩了不少坑&＃xff0c;尤其是deploy部分&＃xff0c;卡了我三天了。

起因

环境&＃xff1a;

ubuntu物理机专门做CI/CD工具机&＃xff0c;已经使用了docker-compose同时安装了gitlab和gitlab-runner

gitlab用于代码托管&＃xff0c;gitlab-runner用于run gitlab-ci&＃xff0c;实现自动编译&＃xff0c;测试&＃xff0c;部署一步到位

一台远程的WEB服务器&＃xff0c;生产环境

问题&＃xff1a;

由于gitlab-runner是在docker下跑的&＃xff0c;而gitlab-runner使用的执行环境也是docker&＃xff0c;这就导致一个问题&＃xff0c;编译后的文件无法直接拷贝到物理机&＃xff0c;docker是个完全隔离的沙盒&＃xff0c;docker也会在结束CI/CD后立马销毁&＃xff0c;好在在docker CI/CD任务没有完成前&＃xff0c;我们是可以获得build的文件的。

如何把需要部署的文件&＃xff0c;例如jar&＃xff0c;bin包部署到服务器呢&＃xff1f;我思考了很多种方案&＃xff1a;

• 使用scp复制到远程&＃xff0c;失败&＃xff1a;需要账号密码&＃xff0c;gitlab-ci都不给你机会输入
• 使用sshpass&＃43;scp&＃xff0c;可以条过密码&＃xff0c;但过程繁琐&＃xff0c;而且还是出现了权限问题&＃xff0c;没深入
• 使用ftp&＃xff0c;由于ftp这个老东西无论是被动模式还是主动模式对双方开放随机端口&＃xff0c;我觉得不安全&＃xff0c;放弃
• 使用rsync&＃xff0c;要同时配置服务端&＃xff0c;客户端&＃xff0c;真的很麻烦&＃xff0c;都不想看
• 最后决定使用sftp&＃xff0c;利用了服务器自带的ssh用户&＃xff08;需要新建安全的用户&＃xff0c;指定目录&＃xff09;
• jekenis&＃xff0c;这个很强大&＃xff0c;也很重&＃xff0c;需要较长学习周期&＃xff0c;部署各种服务&＃xff0c;但我方项目较小&＃xff0c;暂不考虑&＃xff0c;优先考虑轻量级的sftp

以上都是我参考了大量在线的文档&＃xff0c;博客&＃xff0c;最后总结了一套自己的docker下sftp deploy方法

这里用node下vue项目举例&＃xff0c;比如build过后的vue项目会产生一个dist目录&＃xff0c;我现在要把这个下面所有的文件都发布到web服务器上&＃xff01;

开始

首先&＃xff0c;你需要先把runner添加到gitlab才能run呀&＃xff0c;这个在上两篇docker-compose搭建gitlab的文章中讲述过&＃xff0c;这里在提醒下&＃xff1a;gilab打开项目&＃xff0c;左边菜单栏&＃xff0c;Settings-》CI/CD&＃xff0c;下拉runner&＃xff0c;找到url和token&＃xff0c;通过gitlab-runner register注册进去&＃xff0c;注册完&＃xff0c;就可以看到新的runner显示绿色可用状态。

下一步&＃xff0c;你需要写gitlab-ci.yml和deploy.sh&＃xff0c;当然你也可以一并写到gitlab-ci.yml中。我分开了&＃xff0c;因为我喜欢写shell&＃xff01;

我的.gitlab-ci.yml

stages:- build- deploycache:key:files:- package.jsonpaths:- node_modulesbuild:stage: buildbefore_script:- npm config set registry https://registry.npm.taobao.orgscript:- npm install- npm run buildartifacts:expire_in: 1 daypaths:- distdeploy:stage: deployimage: ubuntu:20.04before_script:- rm /etc/apt/sources.list- echo &＃39;deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse&＃39; >> /etc/apt/sources.list- echo &＃39;deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse&＃39; >> /etc/apt/sources.list- echo &＃39;deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse&＃39; >> /etc/apt/sources.list- mkdir ~/.ssh- echo -e "Host *\n\tStrictHostKeyChecking no\n\n" >~/.ssh/config- &＃39;which lftp || ( apt-get update -y && apt-get install lftp -y )&＃39;script:- bash ./deploy.sh


关于gitlab-ci这个yml脚本&＃xff0c;我必须特别说明下&＃xff0c;里面有很多精华是我踩了很多的坑才写出来的。

下面是一篇官方文档&＃xff1a;

Running Composer and NPM scripts with deployment via SCP in GitLab CI/CD

重点在before_script里面&＃xff1a;

• 首先你需要更换ubuntu的apt源到国内&＃xff0c;提高速度&＃xff0c;否则CI/CD很慢&＃xff01;
• 把npm也换到国内&＃xff0c;否则也很慢&＃xff01;
• 然后你需要关闭ssh验证&＃xff0c;这个很繁&＃xff0c;docker下的runner系统每次都会问&＃xff08;每次run都是一个新环境&＃xff09;&＃xff0c;但你无法输入yes&＃xff0c;所以你必须关闭StrictHostKeyChecking&＃xff0c;否则失败。在你本地一般不会报错&＃xff0c;原因是你看看.ssh下的kownhosts阿&＃xff01;你已经允许过了&＃xff01;
• 安装lftp&＃xff0c;用这个工具上传到sftp&＃xff01;很方便&＃xff01;

deply.sh

#!/bin/bash
#指定对端FTP服务器的用户名和密码
USER&＃61;"xxxx"
PASSWD&＃61;"xxxx"
IP&＃61;&＃39;xxx.xxx.xxx.xxxx&＃39;
P&＃61;&＃39;22&＃39;
DIR&＃61;&＃39;example.com&＃39;
targetDay&＃61;$(date -d "-1 days" &＃43;"%Y-%m-%d")lftp -u $USER,$PASSWD sftp://$IP:$P <<EOMmirror -R dist $DIRbye
EOM[ $? -eq 0 ] && echo "Upload SFTP server successful [$targetDay]"


这里这个deploy.sh其实是可以合并到yml里的&＃xff0c;因为gitlab-ci.yml本来就是shell脚本的简化而以&＃xff0c;用了gitlab-ci就不必要单独写shell&＃xff0c;这里独立出来对我来说更加清晰&＃xff0c;我解释下里面内容&＃xff1a;

• 首先定义连接sftp服务器的变量&＃xff0c;用户名&＃xff0c;密码阿之类的。这些以后要放到gitlab-runner的variables里更安全&＃xff0c;不然提交git的人都知道部署生产服务器的账户密码了&＃xff0c;在大公司里是绝对不可以的。
• 关于上一条里的用户&＃xff0c;肯定是不建议用root的&＃xff0c;可以useradd新建一个用户&＃xff0c;把www目录分配给他&＃xff0c;我新建了一个deploy用户&＃xff0c;最好再把网站deploy目录也chmod 777一下&＃xff0c;不然还可能会有“permission denied”问题
• lftp里面上传的是整个目录&＃xff0c;要用mirror命令&＃xff01;注意不是put, 也不能用所谓的put -r&＃xff0c;这都是坑阿&＃xff0c;坑的我哭了。

一看job succeed&＃xff0c;甚是激动&＃xff0c;终于从坑里爬出来了。