docker文件系统镜像篇

学习docker的本地存储系统结构
首先我们明白docker镜像具有分层的架构，也就是说一个镜像由n个子镜像组成。比如我们下载一个docker镜像（mysql:5.7），可以看到，这里它是一层层去下载的，本地有的层就不会重复去下载。

在pull完镜像之后，我们就会产生一个问题，镜像在本地是怎么存储的？是不是一个文件的方式直接存储在本地？带着问题，一起了解一下镜像在本地的存储方式。

/var/lib/docker，这是docker在本地存储镜像和容器的目录。查看一下目录的结构：

这篇博客主要的内容就在 image/ 子文件中讨论。

进入image文件夹，只有一个子文件夹overlay2，这代表着我本地的docker使用的文件驱动系统是overlay，早期的时候使用的是aufs，也就是说这里文件夹就是对应docker使用的文件的类型了。继续往里进，ls一下：

root@ubuntu:overlay2# ls
distribution imagedb layerdb repositories.json


一共有三个文件夹和一个json文件。先看json文件（python -m json.tool 是格式化命令行输出，便于查看）：

root@ubuntu:overlay2# cat repositories.json |python -m json.tool
{
"Repositories": {
"10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04": {
"10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04:1.0": "sha256:62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8",
"10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04:juyiwang": "sha256:40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf",
"10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04@sha256:2c828d609231bce40039f9d0e68f474edfd5454b3488183c1ae1c0f2d36b89f4": "sha256:40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf",
"10.1.21.39:48080/virtual-experiment/hdu_ubuntu18.04@sha256:c6c05dbc439c6ba29487cd341f92348d5cf63f2a251e3d88f16ad2ac981b3be3": "sha256:62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8"
},
"hyperledger/fabric-tools": {
"hyperledger/fabric-tools:1.4.1": "sha256:432c24764fbbc8e2546b0e46d470dd090a459ecd33a4d7c2acca2df734b7906c",
"hyperledger/fabric-tools@sha256:c458ddc3109d3519b209baaf9abff113641267ec2adb01dfdcf8f4c9e77a2fa0": "sha256:432c24764fbbc8e2546b0e46d470dd090a459ecd33a4d7c2acca2df734b7906c"
},
"jenkins/jenkins": {
"jenkins/jenkins:lts-centos": "sha256:8a93d9bb527e66a91d974c4b9a1ca312f90b24742266238098cd9fafdb825405",
"jenkins/jenkins@sha256:8b9ccc6797dcfc2513f5d2bf0a0a89a2cc7750e27d72423588989bd6187f22b8": "sha256:8a93d9bb527e66a91d974c4b9a1ca312f90b24742266238098cd9fafdb825405"
},
"mongo": {
"mongo:latest": "sha256:ba0c2ff8d3620c0910832424efef02787214013b1c5b1d9dc9d87d638e2ceb71",
"mongo@sha256:a4448eb5f6e6097353d0ab97eb50aeb0238bb4e60c37e401920d3c2c4fc73eb9": "sha256:ba0c2ff8d3620c0910832424efef02787214013b1c5b1d9dc9d87d638e2ceb71"
},
"mysql": {
"mysql:5.7": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a",
"mysql@sha256:c3a567d3e3ad8b05dfce401ed08f0f6bf3f3b64cc17694979d5f2e5d78e10173": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a"
},
"nginx": {
"nginx:1.17.9": "sha256:6678c7c2e56c970388f8d5a398aa30f2ab60e85f20165e101053c3d3a11e6663"
}
……
……
……
}
}


这里我删去了很多的镜像信息，只留下了一部分，可以看到，刚刚下载的mysql镜像信息为：

"mysql": {
"mysql:5.7": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a",
"mysql@sha256:c3a567d3e3ad8b05dfce401ed08f0f6bf3f3b64cc17694979d5f2e5d78e10173": "sha256:f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a"
}


这个 repositories.json文件记载了机器上所有的镜像的信息。相同的镜像不同的tag会放在一个镜像里面存储。存储的具体信息有：第一行存储的是镜像的ID，这个ID在所有的机器上都是统一的。另外一个hash值还不清楚，但是在每个机器上相同镜像也是相同的。

接下来看一下imagedb文件夹:

[root@k8s-master overlay2]# tree imagedb/
imagedb/
├── content
│ └── sha256
│ ├── 06298d9e08f809fa1e0d1d8aed6b45c91b06263ae2bf79facc254709a0816b61
│ ├── 0633993b5dfcc12185995f44ee2ed14b2182851a88d1c604c5b043be27c6f112
│ ├── 133283c0dd722f69ca6c136a2403581dcce7be09a907b2915c1029087b159119
│ ├── 219ee5171f8006d1462fa76c12b9b01ab672dbc8b283f186841bf2c3ca8e3c93
│ ├── 22c70bba8283cb87951743be5fa043bec56ade01ceee079e6c2357a10b44159a
│ ├── 2c4adeb21b4ff8ed3309d0e42b6b4ae39872399f7b37e0856e673b13c4aba13d
│ ├── 40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf
│ ├── 432c24764fbbc8e2546b0e46d470dd090a459ecd33a4d7c2acca2df734b7906c
│ ├── 4e9f801d2217e98e94de72cefbcb010a7f2caccf03834dfd12a8e60abcaaecfd
│ ├── 5ac750b5261527d0720f0926183a76f52e33eb0f71368b05c2fe4a481415108f
│ ├── 62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8
│ ├── 6678c7c2e56c970388f8d5a398aa30f2ab60e85f20165e101053c3d3a11e6663
│ ├── 68c3eb07bfc3fc02f468d9e56564fd97fb4d75879b5f7c3ce1d8af4f60d32865
│ ├── 76d11bb7c38696065071971f6019154132158da2f23546c20c8c359272920aa0
│ ├── 7c926cb4c20c8b4b60ac552cc475714b8a2d7df8830a470c119e94a8ff8425c2
│ ├── 7ffcec7b8dd8dd08855040f59871264dc3ca034556e06bfa245c9df98eef1572
│ ├── 8205975e0c5a3bc1d0cb38979933e97f68644146f8ead9901befe089f5fb88b2
│ ├── 82719e1ce60dc59ffeba849f2e5cb56e6e53eabd09afd41c661c9633e580303a
│ ├── 89a062da739d3774b51a5ad4f0876f6d732dc4f15df92b839e433b302968abb6
│ ├── 8a93d9bb527e66a91d974c4b9a1ca312f90b24742266238098cd9fafdb825405
│ ├── 9a4b698bff47c4b3df9a053e82e4eda633fffcfe8399c5fc8fa0358fc8e12546
│ ├── 9bdad03644c77f646425c50ea4aacfb146ee40dfeee6a40eff031c044deee5de
│ ├── 9f3a39d15fb92be6ccd28cbae89d4edf100ec7968cf437aa43a93b5e77ddcd0d
│ ├── aa45bdd3887e43c0adafcef5edbe6132f90b1e4995177d9450208da30dd4b4b6
│ ├── ac1c9c4c950cec6546482146f1ea5f9aa94437d917710cbba139ff4875c71713
│ ├── ae0f2e7ff3511927689a4031d96d674553f6d9694a0787284221aaa165deadf3
│ ├── b0b3c4c404da51002078e80e59d63221bdf1aeae86317a5ebeed39a58ce94877
│ ├── ba0c2ff8d3620c0910832424efef02787214013b1c5b1d9dc9d87d638e2ceb71
│ ├── bec9f481115c600b7a89684d6c7df852c8a3044106593bc780152fc8e864f36e
│ ├── bf756fb1ae65adf866bd8c456593cd24beb6a0a061dedf42b26a993176745f6b
│ ├── d3c94e01ac0d2850ce9c2506204aa408b54a692f231683aab74b9e2a62192067
│ ├── d75082f1d121636c8a2546a2183597a239feb585bf0f6d3367468baca17f103a
│ ├── da86e6ba6ca197bf6bc5e9d900febd906b133eaa4750e6bed647b0fbe50ed43e
│ ├── e3dd0e49bca555d559ca2e97f06a1efa108ebd230fddcb17606723994f18ae3b
│ ├── eb516548c180f8a6e0235034ccee2428027896af16a509786da13022fe95fe8c
│ ├── f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a
│ └── f87615ada079b93259b5e8e3bf354439373cfcbf41f8385df9afda9105c455f9
└── metadata
└── sha256
├── 06298d9e08f809fa1e0d1d8aed6b45c91b06263ae2bf79facc254709a0816b61
│ └── parent
├── 0633993b5dfcc12185995f44ee2ed14b2182851a88d1c604c5b043be27c6f112
│ └── parent
├── 40620aa96ad8aeec60fdcdf195ab2722ce6979621b3f49d6f5d4938e60239bdf
│ ├── lastUpdated
│ └── parent
├── 5ac750b5261527d0720f0926183a76f52e33eb0f71368b05c2fe4a481415108f
│ └── parent
├── 62c28f359ff8118ef8ced0aea6e8516c4cac721024b5d90f57494f939b0f4eb8
│ └── lastUpdated
├── 6678c7c2e56c970388f8d5a398aa30f2ab60e85f20165e101053c3d3a11e6663
│ └── lastUpdated
├── 7c926cb4c20c8b4b60ac552cc475714b8a2d7df8830a470c119e94a8ff8425c2
│ └── parent
├── 7ffcec7b8dd8dd08855040f59871264dc3ca034556e06bfa245c9df98eef1572
│ └── parent
├── 9a4b698bff47c4b3df9a053e82e4eda633fffcfe8399c5fc8fa0358fc8e12546
│ └── parent
├── 9bdad03644c77f646425c50ea4aacfb146ee40dfeee6a40eff031c044deee5de
│ └── lastUpdated
├── 9f3a39d15fb92be6ccd28cbae89d4edf100ec7968cf437aa43a93b5e77ddcd0d
│ └── parent
├── d3c94e01ac0d2850ce9c2506204aa408b54a692f231683aab74b9e2a62192067
│ ├── lastUpdated
│ └── parent
└── f87615ada079b93259b5e8e3bf354439373cfcbf41f8385df9afda9105c455f9
└── parent
17 directories, 52 files


先看imagedb/content/sha256/{镜像ID}文件：

[root@k8s-master overlay2]# cat imagedb/content/sha256/f07dfa83b5283f486f1fa1628cb8b4a18a4d071a486708acc5c06243ca7f592a|python -m json.tool
{
"architecture": "amd64",
"config": {
……
},
"Tty": false,
"OpenStdin": false,
"StdinOnce": false,
"Env": [
……
],
"Cmd": [
"mysqld"
],
"Image": "sha256:eeb4574531bba5f416e424e5af5f8833b1731cadddd08547366817a2099dee96",
"Volumes": {
"/var/lib/mysql": {}
},
"WorkingDir": "",
"Entrypoint": [
"docker-entrypoint.sh"
],
"OnBuild": null,
"Labels": null
},
"container": "000ffa68848b6e618b1d24f5e906d14ff2123afd224ff28a67a8aaa1b6cbfa18",
"container_config": {
……
},
"Tty": false,
"OpenStdin": false,
"StdinOnce": false,
"Env": [
……
],
"Cmd": [
"/bin/sh",
"-c",
"#(nop) ",
"CMD [\"mysqld\"]"
],
"Image": "sha256:eeb4574531bba5f416e424e5af5f8833b1731cadddd08547366817a2099dee96",
"Volumes": {
"/var/lib/mysql": {}
},
"WorkingDir": "",
"Entrypoint": [
"docker-entrypoint.sh"
],
"OnBuild": null,
"Labels": {}
},
"created": "2020-12-21T20:34:44.202492422Z",
"docker_version": "19.03.12",
"history": [……
],
"os": "linux",
"rootfs": {
"type": "layers",
"diff_ids": [
"sha256:87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9",
"sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac",
"sha256:cb1c4d92429ddcbcbe3c43d2f4b8cea706cb47485f833c22aeb78725b593c8be",
"sha256:614fbc08d1b2e529d6a4b6975b7d193a232efc49f3359923d7efb2cfa6d73e3e",
"sha256:d4a3e8c51d197f372f9e1bba89eefe1c20e51ccb349211f9efbecc22ca64c95d",
"sha256:d0425b5c07f61692b1720f23afd5cd9b07f0bbf2e8cb2e52dcb971c81524436f",
"sha256:7d338559a103f8537c06b60bbda893b519f1d5f6ea7d79f2bd83a0cdee3c6120",
"sha256:d8e44f98a95fceeba96085ff4c9661e0cddde510f44b8dfb6bf8be0296d2f198",
"sha256:937609480ea5519ed11458ef62228d00d1948b8ecc98e2641f747799b3c65028",
"sha256:7888c0a868da47885502aebf582a918a3d04cf670feea9281d990bf05239097f",
"sha256:e3c6570b4ce19a9fb95d1e0e85ae22bcd46c8a6f13297b451774bf48ff4ae7f3"
]
}
}


此文件主要内容为镜像的基本信息、环境变量、创建时间等。目前我们关注最后的rootfs这个key，可以看到这里他把镜像所涉及到的层都罗列出来了，使用的是diff_ids作为valus。
这里介绍一下相关的四个ID：

• cacheID
    由宿主机随即生成的一个uuid，根镜像层文件一一对应，用于宿主机标志和索引镜像层。文件镜像内容实际存放的位置，是一个随机值。

• diffID
    镜像每层次内容的摘要，反映了单个层次内容的信息镜像层校验ID、根据该镜像层的打包文件校验获得

• parent
    父镜像层的chainID(最底层不含该文件)

• chainID
    docker内容寻址机制采用的索引ID，其值根据当前层和所有祖先层的diffID算得：若该镜像层是最底层，那么其chainID 和 diffID 相同否则，chainID=sha256(父层chainID+" "+本层diffID)

这里各种ID比较多，不要记混了，注意区分，多去文件夹里看一下，多做区别。回到上面文件中的rootfskey中来：

"rootfs": {
"type": "layers",
"diff_ids": [
"sha256:87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9",
"sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac",
"sha256:cb1c4d92429ddcbcbe3c43d2f4b8cea706cb47485f833c22aeb78725b593c8be",
"sha256:614fbc08d1b2e529d6a4b6975b7d193a232efc49f3359923d7efb2cfa6d73e3e",
"sha256:d4a3e8c51d197f372f9e1bba89eefe1c20e51ccb349211f9efbecc22ca64c95d",
"sha256:d0425b5c07f61692b1720f23afd5cd9b07f0bbf2e8cb2e52dcb971c81524436f",
"sha256:7d338559a103f8537c06b60bbda893b519f1d5f6ea7d79f2bd83a0cdee3c6120",
"sha256:d8e44f98a95fceeba96085ff4c9661e0cddde510f44b8dfb6bf8be0296d2f198",
"sha256:937609480ea5519ed11458ef62228d00d1948b8ecc98e2641f747799b3c65028",
"sha256:7888c0a868da47885502aebf582a918a3d04cf670feea9281d990bf05239097f",
"sha256:e3c6570b4ce19a9fb95d1e0e85ae22bcd46c8a6f13297b451774bf48ff4ae7f3"
]
}


接下来就去找到这些层，最上面的层是底层。cd /var/lib/docker/image/overlay2/layerdb/sha256 ，我们发现在这个文件夹下有很多的文件夹，他们的结构是：

.
├── chainID
│ ├── cache-id //本镜像层在本地存储的位置
│ ├── diff //本镜像层的diffID
│ ├── parent //存储父镜像层的chainID
│ ├── size //本镜像层的大小
│ └── tar-split.json.gz //layer层数据tar压缩包的split文件该文件生成需要依赖tar-split，通过这个文件可以还原layer的tar包。


在这里，我们前面介绍的四种ID全都出现了。在这个文件夹下，我们开始寻找最上层的ID：e3c6570b4ce19a9fb95d1e0e85ae22bcd46c8a6f13297b451774bf48ff4ae7f3，但是却没有找到。只有最底层的ID：87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9。这里涉及到一个存储的原理，在本地docker并不是使用diffID进行相关内容的存储，而是根据chainID进行存储，而chainID和diffID之间有一个计算的公式（没有父层则 chainID= diffID）。

c


h


a


i


n


I


D


=


s


h


a


256


(


p


a


r


e


n


t


−


c


h


a


i


n


I


d


+


空


格


+


d


i


f


f


I


D


)



chainID = sha256(parent-chainId +空格+ diffID)


chainID=sha256(parent−chainId+空格+diffID)

而在这个/layerdb/sha256文件夹下都是以chainId为文件夹名保存的。所以我们找不到除最底层之外的层对应文件夹。为了验证这个说法下面进行一次hash计算得到文件夹的名称：

root@ubuntu:sha256# cat aff48ce4678f78d83d7e9bfb9e88cd951c3da52da08779e99b6082edd1cc66f3/diff
sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac


首先我们找到含有第二个层的文件夹（根据diffID去找）。

• 第二层的diffid：sha256:8d77519601a52080d6e1e48d455df3b2646ec839a41f4566116c4058d1612eac
• 第二层的chainID：aff48ce4678f78d83d7e9bfb9e88cd951c3da52da08779e99b6082edd1cc66f3
• 第一层的chainID：87c8a1d8f54f3aa4e05569e8919397b65056aa71cdf48b7f061432c98475eee9
  接下来我们要验证的就是第一层的chainID+空格+第二层的diffdID做sha256=第二层的chainID。
  
  经过验证，这个确实是成立的。
  最后我们还剩下了layerdb/mounts文件夹内容。

root@ubuntu:layerdb# tree mounts/
mounts/
├── 47e5e13e4f692d5f6870de031d3bb1ffc3f99a9fa6e0931d62721f5cae0b8fca
│ ├── init-id // init层在本地的存储位置
│ ├── mount-id // 容器层在本地的存储位置
│ └── parent
└── c128b7ba12a5a208819b54b8c93e9cf4be289d3c9eb5fdfe243ee9845fde8389
├── init-id
├── mount-id
└── parent
2 directories, 6 files


我运行了两个容器（做MySQL主从复制），所以这个文件夹下只有两个文件夹。
未完……