当前位置: 开发笔记 > 编程语言 > 正文

Docker存储原理

作者：mobiledu2502886333 | 来源：互联网 | 2023-09-24 12:23

Docker存储可以分为分层文件系统和卷，本文将介绍AUFS分层文件系统。1.基础知识1.1Linux的rootfs和bootfs一个典型的Linux系统要能运行

Docker 存储可以分为分层文件系统和卷&＃xff0c;本文将介绍 AUFS 分层文件系统。

1. 基础知识

1.1 Linux 的 rootfs 和 bootfs

一个典型的 Linux 系统要能运行的话&＃xff0c;它至少需要两个文件系统&＃xff1a;

boot file system &＃xff08;bootfs&＃xff09;&＃xff1a;包含 boot loader 和 kernel。用户不会修改这个文件系统。实际上&＃xff0c;在启动&＃xff08;boot&＃xff09;过程完成后&＃xff0c;整个内核都会被加载进内存&＃xff0c;此时 bootfs 会被卸载掉从而释放出所占用的内存。同时也可以看出&＃xff0c;对于同样内核版本的不同的 Linux 发行版的 bootfs 都是一致的。
root file system &＃xff08;rootfs&＃xff09;&＃xff1a;包含典型的目录结构&＃xff0c;包括 /dev, /proc, /bin, /etc, /lib, /usr, and /tmp 等再加上要运行用户应用所需要的所有配置文件&＃xff0c;二进制文件和库文件。这个文件系统在不同的Linux 发行版中是不同的。而且用户可以对这个文件进行修改。

Linux 系统在启动时&＃xff0c;roofs 首先会被挂载为只读模式&＃xff0c;然后在启动完成后被修改为读写模式&＃xff0c;随后它们就可以被修改了。

1.2 AUFS

AUFS 是一种 Union File System&＃xff08;联合文件系统&＃xff09;&＃xff0c;又叫 Another UnionFS&＃xff0c;后来叫Alternative UnionFS&＃xff0c;再后来叫成高大上的 Advance UnionFS。所谓 UnionFS&＃xff0c;就是把不同物理位置的目录合并mount到同一个目录中。UnionFS的一个最主要的应用是&＃xff0c;把一张CD/DVD和一个硬盘目录给联合 mount在一起&＃xff0c;然后&＃xff0c;你就可以对这个只读的CD/DVD上的文件进行修改&＃xff08;当然&＃xff0c;修改的文件存于硬盘上的目录里&＃xff09;。

举个例子&＃xff0c;在 Ubuntu 14.04 系统上现有如下目录结构&＃xff1a;

$ tree
.
├── fruits
│ ├── apple
│ └── tomato
└── vegetables├── carrots└── tomato

输入以下几个命令&＃xff1a;

# 创建一个mount目录
$ mkdir mnt# 把水果目录和蔬菜目录union mount到 ./mnt目录中
$ sudo mount -t aufs -o dirs&＃61;./fruits:./vegetables none ./mnt# 查看./mnt目录
$ tree ./mnt
./mnt
├── apple
├── carrots
└── tomato

我们可以看到在./mnt目录下有三个文件&＃xff0c;苹果apple、胡萝卜carrots和蕃茄tomato。水果和蔬菜的目录被union到了./mnt目录下了。

我们来修改一下其中的文件内容&＃xff1a;

$ echo mnt > ./mnt/apple
$ cat ./mnt/apple
mnt
$ cat ./fruits/apple
mnt

上面的示例&＃xff0c;我们可以看到./mnt/apple的内容改了&＃xff0c;./fruits/apple的内容也改了。

$ echo mnt_carrots > ./mnt/carrots
$ cat ./vegetables/carrots$ cat ./fruits/carrots
mnt_carrots

关于 AUFS 的几个特点&＃xff1a;

AUFS 是一种联合文件系统&＃xff0c;它把若干目录按照顺序和权限 mount 为一个目录并呈现出来
默认情况下&＃xff0c;只有第一层&＃xff08;第一个目录&＃xff09;是可写的&＃xff0c;其余层是只读的。
增加文件&＃xff1a;默认情况下&＃xff0c;新增的文件都会被放在最上面的可写层中。
删除文件&＃xff1a;因为底下各层都是只读的&＃xff0c;当需要删除这些层中的文件时&＃xff0c;AUFS 使用 whiteout 机制&＃xff0c;它的实现是通过在上层的可写的目录下建立对应的whiteout隐藏文件来实现的。
修改文件&＃xff1a;AUFS 利用其 CoW &＃xff08;copy-on-write&＃xff09;特性来修改只读层中的文件。AUFS 工作在文件层面&＃xff0c;因此&＃xff0c;只要有对只读层中的文件做修改&＃xff0c;不管修改数据的量的多少&＃xff0c;在第一次修改时&＃xff0c;文件都会被拷贝到可写层然后再被修改。
节省空间&＃xff1a;AUFS 的 CoW 特性能够允许在多个容器之间共享分层&＃xff0c;从而减少物理空间占用。
查找文件&＃xff1a;AUFS 的查找性能在层数非常多时会出现下降&＃xff0c;层数越多&＃xff0c;查找性能越低&＃xff0c;因此&＃xff0c;在制作 Docker 镜像时要注意层数不要太多。
性能&＃xff1a;AUFS 的 CoW 特性在写入大型文件时第一次会出现延迟。

本部分内容主要应用自 Docker基础技术&＃xff1a;AUFS。

2. Docker 文件系统

2.1 Docker 镜像的 rootfs

前面基础知识部分谈到过&＃xff0c;同一个内核版本的所有 Linux 系统的 bootfs 是相同的&＃xff0c;而 rootfs 则是不同的。在 Docker 中&＃xff0c;基础镜像中的 roofs 会一直保持只读模式&＃xff0c;Docker 会利用 union mount 来在这个 rootfs 上增加更多的只读文件系统&＃xff0c;最后它们看起来就像一个文件系统即容器的 rootfs。

&＃xff08;图片来源&＃xff09;

可见在一个Linux 系统之中&＃xff0c;

所有 Docker 容器都共享主机系统的 bootfs 即 Linux 内核
每个容器有自己的 rootfs&＃xff0c;它来自不同的 Linux 发行版的基础镜像&＃xff0c;包括 Ubuntu&＃xff0c;Debian 和 SUSE 等
所有基于一种基础镜像的容器都共享这种 rootfs

以 training/webapp 镜像为例&＃xff0c;

root&＃64;docker1:/var/lib/docker/aufs/diff/b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa# docker history training/webapp
IMAGE CREATED CREATED BY SIZE COMMENT
6fae60ef3446 16 months ago /bin/sh -c #(nop) CMD ["python" "app.py"] 0 B
16 months ago /bin/sh -c #(nop) EXPOSE 5000/tcp 0 B
16 months ago /bin/sh -c #(nop) WORKDIR /opt/webapp 0 B
16 months ago /bin/sh -c #(nop) ADD dir:9b2a69f6f30d18b02b5 703 B
16 months ago /bin/sh -c pip install -qr /tmp/requirements. 4.363 MB
16 months ago /bin/sh -c #(nop) ADD file:c59059439864153904 41 B
16 months ago /bin/sh -c DEBIAN_FRONTEND&＃61;noninteractive apt 135.3 MB
16 months ago /bin/sh -c apt-get update 20.8 MB
16 months ago /bin/sh -c #(nop) MAINTAINER Docker Education 0 B
17 months ago /bin/sh -c #(nop) CMD ["/bin/bash"] 0 B
17 months ago /bin/sh -c sed -i &＃39;s/^#\s*$deb.*universe$$/ 1.895 kB
17 months ago /bin/sh -c echo &＃39;#!/bin/sh&＃39; > /usr/sbin/polic 194.5 kB
17 months ago /bin/sh -c #(nop) ADD file:f4d7b4b3402b5c53f2 188.1 MB

它是基于 Ubuntu Docker 基础镜像。在基础镜像层中&＃xff0c;我们能看到完整的 Ubuntu rootfs&＃xff1a;

root&＃64;docker1:/var/lib/docker/aufs/diff/b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa# ls -l
total 76
drwxr-xr-x 2 root root 4096 Apr 27 2015 bin
drwxr-xr-x 2 root root 4096 Apr 11 2014 boot
drwxr-xr-x 3 root root 4096 Apr 27 2015 dev
drwxr-xr-x 61 root root 4096 Apr 27 2015 etc
drwxr-xr-x 2 root root 4096 Apr 11 2014 home
drwxr-xr-x 12 root root 4096 Apr 27 2015 lib
drwxr-xr-x 2 root root 4096 Apr 27 2015 lib64
drwxr-xr-x 2 root root 4096 Apr 27 2015 media
drwxr-xr-x 2 root root 4096 Apr 11 2014 mnt
drwxr-xr-x 2 root root 4096 Apr 27 2015 opt
drwxr-xr-x 2 root root 4096 Apr 11 2014 proc
drwx------ 2 root root 4096 Apr 27 2015 root
drwxr-xr-x 7 root root 4096 Apr 27 2015 run
drwxr-xr-x 2 root root 4096 Apr 27 2015 sbin
drwxr-xr-x 2 root root 4096 Apr 27 2015 srv
drwxr-xr-x 2 root root 4096 Mar 13 2014 sys
drwxrwxrwt 2 root root 4096 Apr 27 2015 tmp
drwxr-xr-x 10 root root 4096 Apr 27 2015 usr
drwxr-xr-x 11 root root 4096 Apr 27 2015 var

我们来看两种典型的文件&＃xff1a;

&＃xff08;1&＃xff09;bin 目录中的文件会被直接使用

root&＃64;docker1:/var/lib/docker/aufs/diff# find -iname mountpoint
./b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa/bin/mountpoint

&＃xff08;2&＃xff09;在基础镜像层中 proc 目录为空&＃xff0c;也就是说容器中看到的 proc 目录中的文件是后来生成的。

2.2 Docker 使用的 AUFS 文件系统

关于 Docker的分层镜像&＃xff0c;除了 aufs&＃xff0c;docker还支持btrfs, devicemapper和vfs&＃xff0c;你可以使用 -s 或 –storage-driver&＃61; 选项来指定相关的镜像存储。在Ubuntu 14.04下&＃xff0c;Docker 默认 Ubuntu的 AUFS。因为 AUFS 还没有进入Linux 内核主干的原因&＃xff0c;RedHat 上使用的是 devicemapper。

我们可以在 docker info 命令的输出中查看所使用的存储驱动&＃xff1a;

Storage Driver: aufsRoot Dir: /var/lib/docker/aufsBacking Filesystem: extfsDirs: 19Dirperm1 Supported: false

以一个正在运行着的 Docker 容器为例&＃xff0c;其镜像有13层&＃xff1a;

"RootFS": {"Type": "layers","Layers": ["sha256:1154ba695078d29ea6c4e1adb55c463959cd77509adf09710e2315827d66271a","sha256:528c8710fd95f61d40b8bb8a549fa8dfa737d9b9c7c7b2ae55f745c972dddacd","sha256:37ee47034d9b78f10f0c5ce3a25e6b6e58997fcadaf5f896c603a10c5f35fb31","sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef","sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef","sha256:b75c0703b86b8ccbdc1f1b28b4982774768861ac250f83bdb940b1e90291f302","sha256:5c121779bb29172c628a21087ea8ced766959da2f223c8b6bd4ffe943ace43d8","sha256:3ee91c5cb95b01496b4afdc721ba7fd3c22e0e5e2f3e9e70d3f8579b5082d4f3","sha256:6bbb1d0f845289217e20b66697fa7d651394d89983b0f5a89b88f037194476fe","sha256:b44b0832d4c6bf33122ce3aa896b133df88275e6d20663a9bf2d941f764ac1fd","sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef","sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef","sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef"]}

从 AUFS 的角度&＃xff0c;可以看到有一个可写的容器层和14个只读的镜像层&＃xff1a;

root&＃64;docker1:/sys/fs/aufs/si_ab487e40195df24f# cat *
/var/lib/docker/aufs/diff/2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab&＃61;rw #可写的容器层
/var/lib/docker/aufs/diff/2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab-init&＃61;ro&＃43;wh #本层及以下是只读的镜像层
/var/lib/docker/aufs/diff/5472f8388f9a61f6bd84498201a5ad71a2ec88cda16c42a3a1da7c30da45f102&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/61dcf0881e790bf52ec555727b58641791adeefadcc7abc2a77fd228bde1371a&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/f68672aaf17dd158aabc635b2d8d459d79db1cd5ff38bf3834fe8f9c7a05235e&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/45818d286499870412357d66eb6af951699f89db785c7c6a242d2e1ac99734f9&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/85cb840562788e1b458e68265e62fd2da9d0d7e737256500e8a276bcb237183c&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/c18ba8efcb455e97f6aabe3985b147f6a37b8f5ad090373e88ddd326b4f90896&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/25de7dcc3a06f0caa3c701d4ed6c62f03e0757f6d477cc822db6e884bb366441&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/ad9e831217594cdfecd5e824690b0e52f2e16d6e2bb39b7143e66d467150cfe8&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/56d37c8eecd8be9ba13e07e1486e7a6ac2f0aa01f8e865ee6136137369d8d8a0&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/31bc6290457af4e560a3103020c85fbb5dfcfb201b0662a33165260529f87c07&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/e104672666119006648d0b82988c49527e52c64629750c5c9adde88acc790682&＃61;ro&＃43;wh
/var/lib/docker/aufs/diff/7a085e415855435121fb7837c26a5e951f622bc69364d9228d409a4929b627e1&＃61;ro&＃43;wh

根据上面 AUFS 的定义&＃xff0c;容器的文件系统是从 14 个只读镜像层和1个可写容器层通过 AUFS mount 出来的。示意图如下&＃xff1a;

&＃xff08;图片来源&＃xff09;

这种分层文件系统可以通过官网的图来清晰的展示出来&＃xff1a;

做一些实验&＃xff1a;

&＃xff08;1&＃xff09;在容器中创建一个文件&＃xff0c;该文件会被创建在可写的容器层中

root&＃64;docker1:/var/lib/docker/aufs/diff# find -iname createdbysammy
./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/opt/webapp/createdbysammy
root&＃64;docker1:/var/lib/docker/aufs/diff# ls -lt
total 60
drwxr-xr-x 9 root root 4096 Oct 4 22:37 2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab
drwxr-xr-x 6 root root 4096 Oct 1 11:56 2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab-init

&＃xff08;2&＃xff09;修改一个镜像层中的文件

修改前&＃xff0c;文件 /etc/apt/sources.list 出现在两个层中&＃xff1a;

root&＃64;docker1:/var/lib/docker/aufs/diff# find -iname sources.list
./f68672aaf17dd158aabc635b2d8d459d79db1cd5ff38bf3834fe8f9c7a05235e/etc/apt/sources.list
./b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa/etc/apt/sources.list

在容器中对它进行修改后&＃xff0c;它被拷贝到了容器层然后被修改了&＃xff1a;

root&＃64;docker1:/var/lib/docker/aufs/diff# find -iname sources.list
./f68672aaf17dd158aabc635b2d8d459d79db1cd5ff38bf3834fe8f9c7a05235e/etc/apt/sources.list
./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/etc/apt/sources.list
./b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa/etc/apt/sources.list

而另外两个层中的文件保持了不变。这说明了 AUFS 的 CoW 特性。

&＃xff08;3&＃xff09;删除容器层中的文件

容器中的文件 ./usr/local/lib/python2.7/dist-packages/itsdangerous.py 位于 56d37c8eecd8be9ba13e07e1486e7a6ac2f0aa01f8e865ee6136137369d8d8a0 层中&＃xff0c;这是一个只读层。

在容器内删除它&＃xff1a;

root&＃64;fa385836d5b9:/# find -iname itsdangerous.py
./usr/local/lib/python2.7/dist-packages/itsdangerous.py
root&＃64;fa385836d5b9:/# rm ./usr/local/lib/python2.7/dist-packages/itsdangerous.py
root&＃64;fa385836d5b9:/# find -iname itsdangerous.py

然后&＃xff0c;容器层中出现了一个 .wh 文件&＃xff0c;而镜像层中的文件保持不变&＃xff1a;

root&＃64;docker1:/var/lib/docker/aufs/diff# find -iname *itsdangerous.py
./56d37c8eecd8be9ba13e07e1486e7a6ac2f0aa01f8e865ee6136137369d8d8a0/usr/local/lib/python2.7/dist-packages/itsdangerous.py
./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/usr/local/lib/python2.7/dist-packages/.wh.itsdangerous.py

在手工将 .wh 文件删除后&＃xff0c;文件就会再次回到容器中。

rm ./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/usr/local/lib/python2.7/dist-packages/.wh.itsdangerous.py

root&＃64;fa385836d5b9:/# find -iname itsdangerous.py
./usr/local/lib/python2.7/dist-packages/itsdangerous.py

转自:http://www.cnblogs.com/sammyliu/p/5931383.html

推荐阅读

export
华为鲲鹏平台适配的Redis Docker镜像构建指南

本文详细介绍如何在华为鲲鹏平台上构建和使用适配ARM架构的Redis Docker镜像，解决常见错误并提供优化建议。 ... [详细]

蜡笔小新 2024-11-19 15:04:08
get
Delphi XE2 之 FireMonkey 入门(19) - TFmxObject 的子类们(表)

td{border:1pxsolid#808080;}参考:和FMX相关的类(表)TFmxObjectIFreeNotification ... [详细]

蜡笔小新 2024-11-21 22:35:24
get
探讨Java中将图像对象转换为文件和字节数组的方法

本文详细探讨了在Java中如何将图像对象转换为文件和字节数组（Byte[]）的技术。虽然网络上存在大量相关资料，但实际操作时仍需注意细节。本文通过使用JMSL 4.0库中的图表对象作为示例，提供了一种实用的方法。 ... [详细]

蜡笔小新 2024-11-21 21:42:59
rsa
Docker安全策略与管理

本文探讨了Docker的安全挑战、核心安全特性及其管理策略，旨在帮助读者深入理解Docker安全机制，并提供实用的安全管理建议。 ... [详细]

蜡笔小新 2024-11-21 20:03:03
get
软通动力Java开发工程师笔试题解析

本文档详细介绍了软通动力Java开发工程师职位的笔试题目，涵盖了Java基础、集合框架、JDBC、JSP等内容，并提供了详细的答案解析。 ... [详细]

蜡笔小新 2024-11-20 13:34:48
get
解决Spring Cloud Eureka自定义端口时连接错误的问题

在尝试通过自定义端口部署Spring Cloud Eureka时遇到了连接失败的问题。本文详细描述了问题的现象，并提供了有效的解决方案，以帮助遇到类似情况的开发者。 ... [详细]

蜡笔小新 2024-11-20 13:05:47
get
C#教程：递归构建父子关系的树结构

本教程介绍如何在C#中通过递归方法将具有父子关系的列表转换为树形结构。我们将详细探讨如何处理字符串类型的键值，并提供一个实用的示例。 ... [详细]

蜡笔小新 2024-11-20 11:31:55
get
解决 Android Studio 3.1 升级后的编译问题

在将 Android Studio 从 3.0 升级到 3.1 版本后，遇到项目无法正常编译的问题，具体错误信息为：org.gradle.api.tasks.TaskExecutionException: Execution failed for task ':app:processDemoProductDebugResources'。 ... [详细]

蜡笔小新 2024-11-20 10:56:42
get
深入解析 Java 中 org.w3c.dom.Node.isEqualNode() 方法及其应用实例

本文详细介绍了 Java 中 org.w3c.dom.Node 类的 isEqualNode() 方法的功能、参数及返回值，并通过多个实际代码示例来展示其具体应用。此方法用于检测两个节点是否相等，而不仅仅是判断它们是否为同一个对象。 ... [详细]

蜡笔小新 2024-11-19 18:11:10
get
编译原理中的语法分析方法探讨

本文探讨了在编译原理课程中遇到的复杂文法问题，特别是当使用SLR(1)文法时遇到的多重规约与移进冲突。文章讨论了可能的解决策略，包括递归下降解析、运算符优先级解析等，并提供了相关示例。 ... [详细]

蜡笔小新 2024-11-19 14:44:19
get
Flutter 核心技术与混合开发模式深入解析

本文深入探讨了 Flutter 的核心技术，特别是其混合开发模式，包括统一管理模式和三端分离模式，以及混合栈原理。通过对比不同模式的优缺点，帮助开发者选择最适合项目的混合开发策略。 ... [详细]

蜡笔小新 2024-11-19 13:48:51
get
深入解析JVM内存模型与分配机制

本文详细探讨了JVM内存结构的主要组成部分，包括Java虚拟机栈、Java堆、方法区等，并深入分析了HotSpot虚拟机的分代收集策略及其对不同内存区域的管理方式。 ... [详细]

蜡笔小新 2024-11-19 12:56:18
get
解决Tomcat启动时出现org.apache.catalina.LifecycleException异常的方法

在尝试启动Java应用服务器Tomcat时，遇到了org.apache.catalina.LifecycleException异常。本文详细记录了异常的具体表现形式，并提供了有效的解决方案。 ... [详细]

蜡笔小新 2024-11-19 11:46:52
get
Java集合框架深入解析：HashSet详解

本文详细介绍了HashSet类，它是Set接口的一个实现，底层使用哈希表（实际上是HashMap实例）。HashSet不保证元素的迭代顺序，并且是非线程安全的。 ... [详细]

蜡笔小新 2024-11-18 16:58:22
get
android开发分享荐 Android思维导图布局：效果展示及使用方法

思维导图布局的前身是树形布局，对树形布局基本使用还不太了解的朋友可以先看看我写的树形布局系列教程，了解了树形布局的使用方法后再来阅读本文章。先睹为快来看看效果吧，横向效果如下：纵向 ... [详细]

蜡笔小新 2024-11-18 11:06:21

mobiledu2502886333

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章