如何将Minio配置为GitLabCI的共享缓存

Minio是与 Amazon S3 API 接口兼容的自托管对象存储系统。在本指南中&＃xff0c;我们将使用 Minio 为 GitLab Runner 设置共享缓存&＃xff0c;作为云托管对象存储解决方案的替代方案。

有什么问题&＃xff1f;

GitLab CI 管道支持cache加速未来的运行。默认情况下&＃xff0c;缓存本地存储在每个运行器实例上。您可以改用对象存储提供程序来启用“共享”缓存模式。

共享缓存确保多个作业可以同时访问缓存。当您将本地缓存与 Docker 管道执行程序一起使用时&＃xff0c;不支持并发访问。由于错过缓存命中&＃xff0c;这可能会导致流水线性能下降。

尽管缓存恢复旨在“尽力而为”&＃xff0c;这意味着您的作业不应该要求缓存包含早期作业的内容&＃xff0c;但实际上许多人确实使用该cache字段在他们的作业之间传递数据。当您有多个并行运行的作业并尝试恢复相同的缓存时&＃xff0c;这目前不起作用。

在 GitLab 实例旁边自托管 Minio 安装&＃xff0c;让您受益于更可靠的缓存恢复&＃xff0c;该缓存恢复仍可预测地与并行作业一起工作。以下是如何安装 Minio 并配置 GitLab Runner 以将其用于缓存。

安装 Minio

Minio服务器可以下载作为一个独立的二进制或.deb和.rpm包。我们将重点介绍本指南中的 Debian 软件包。如果您直接使用二进制文件&＃xff0c;则需要手动将Minio 服务脚本添加到您的init实现中&＃xff0c;以使 Minio 在您的机器上启动。
.deb使用网站上的说明下载并安装 Minio以获得最新版本。这会将 Minio 服务器添加到您的系统并注册其服务定义。
Minio 期望以minio-user用户身份执行。立即创建此用户帐户&＃xff1a;

sudo useradd -r minio-user -s /sbin/nologin


接下来创建一个 Minio 数据目录。上传到对象存储的所有文件都将保存到此位置。我们/mnt/minio用于本教程的目的。使用chown让您minio-user的目录的所有权。

sudo mkdir -p /mnt/minio
sudo chown -R minio-user:minio-user /mnt/minio
sudo chmod -R 0775 /mnt/minio


创建 Minio 配置文件

Minio 自动从/etc/default/minio文件中加载配置值。现在创建此文件并添加以下内容&＃xff1a;

MINIO_ROOT_USER&＃61;"minio"
MINIO_ROOT_PASSWORD&＃61;"P&＃64;$$w0rd"
MINIO_OPTS&＃61;"--address :9600 --console-address :9601"
MINIO_VOLUMES&＃61;"/mnt/minio"


前两行定义了 Minio 的初始 root 用户的凭据。将密码更改为安全值。
该MINIO_OPTS行提供 Minio 服务器设置。我们将监听端口显式设置为9600&＃xff08;默认&＃xff09;并将 Minio 的 Web 控制台暴露在9601. 该MINIO_VOLUMES指令定义了 Minio 将存储数据的位置。这设置为之前设置的目录。

将配置文件的所有权更改为minio-user下一个。如果所有权不正确&＃xff0c;Minio 可能无法启动&＃xff1a;

sudo chown minio-user:minio-user /etc/default/minio


启动 Minio 服务并在浏览器中访问 Web 控制台localhost:9601。使用您的 root 用户凭据登录。

sudo service minio start

为 GitLab 配置 Minio

下一步是为 GitLab 创建一个存储桶以将管道缓存上传到。点击 Minio Console 侧边栏中的“Buckets”链接&＃xff0c;然后点击右上角的蓝色“Create Bucket”按钮。

为您的存储桶命名&＃xff0c;然后单击右下角的“创建存储桶”按钮。在这个使用单个本地磁盘的简单 Minio 安装中&＃xff0c;所提供的任何功能都不可用。它们不是必需的&＃xff0c;因为存储桶内容将由 GitLab Runner 管理。

创建存储桶后&＃xff0c;前往 Minio 控制台的“用户”页面。单击“创建用户”为 GitLab Runner 添加用户帐户。虽然不是严格要求&＃xff0c;但这是一个最佳实践步骤&＃xff0c;因此您无需向 GitLab 提供您的根用户凭据。

gitlab在“访问密钥”字段中输入用户名&＃xff0c;例如。向“密钥”字段提供安全密码。readwrite从列表中为新用户分配策略&＃xff0c;然后单击“保存”按钮。GitLab 需要读写访问权限&＃xff0c;以便它可以上传和检索您的缓存数据。

配置 GitLab 运行器

现在您可以将 Minio 集成到 GitLab Runner 中。打开你的 GitLab Runner 配置文件&＃xff1b;这通常在/etc/gitlab-runner/config.tomlGitLab 综合安装中找到。

找到该[runners.cache]部分并添加以下行&＃xff1a;

[runners.cache]Type &＃61; "s3"Shared &＃61; true[runners.cache.s3]AccessKey &＃61; "gitlab"SecretKey &＃61; "P&＃64;$$w0rd"BucketName &＃61; "gitlab"Insecure &＃61; trueServerAddress &＃61; "192.168.0.1:9600"


以下是这些值的效果&＃xff1a;

• Type – 通知 GitLab 将使用类似 S3 的存储引擎。
• Shared – 允许在并发作业之间共享缓存。
• AccessKey和SecretKey-这些应该匹配您在Minio控制台创建的Minio用户帐户的凭据。
• BucketName – 将其更改为您在 Minio 控制台中创建的存储桶的名称。
• Insecure– 使 GitLab 能够通过纯 HTTP 访问 Minio。如果您将 Minio
  服务器用于其他目的&＃xff0c;您应该按照文档为您的安装设置 HTTPS。
• ServerAddress– 在此处添加您的服务器的 IP 地址。这会通知 GitLab S3 服务器的连接详细信息。

重新启动 GitLab Runner 服务以确保您的更改生效&＃xff1a;

sudo gitlab-runner restart

运行您的 CI 作业

您的 CI 作业现在应该将您定义的缓存拉入并推.gitlab-ci.yml送到您的 Minio 服务器。这允许使用可以由并行作业轻松访问的共享缓存。

当一切正常时&＃xff0c;您会Uploading cache.zip在 CI 作业日志中看到一行&＃xff0c;显示 GitLab 正在使用您的对象存储服务器。引用缓存的后续作业应包括cache.zip is up to date并successfully extracted cache靠近日志顶部。

您可以通过在 Minio 控制台中检查您的存储桶来浏览当前存储的缓存。这也为您提供了一种方便的方法来检查磁盘利用率并删除旧缓存以释放空间。GitLab 为您的每个项目 ID 创建一个目录。在该文件夹中&＃xff0c;您会找到包含缓存的 ZIP 存档&＃xff0c;每个都由分支命名&＃xff0c;缓存名称在.gitlab-ci.yml.

结论

Minio 很容易配置为基本安装&＃xff0c;可用作 GitLab Runner 的共享缓存。这可确保在多个作业同时运行时可靠地使用缓存。这是您自托管 GitLab 安装的一个值得补充的内容。

虽然在许多情况下共享缓存会提高性能&＃xff0c;但请注意这可能并非普遍适用。它为管道流程增加了额外的开销&＃xff0c;因为 GitLab Runner 需要在记录成功结果之前压缩您的作业缓存并将其上传到 Minio。当稍后的作业恢复缓存时&＃xff0c;需要从 Minio 中提取 ZIP 并解压缩&＃xff0c;然后您的脚本才能开始。在切换到对象存储之后监控自己的管道是值得的&＃xff0c;以检查您是否获得了预期的结果。