docker数据持久化的相关介绍

1.Storage Driver
数据存储
CentOS7版本的docker

[root&＃64;docker ~]# docker info
...
Storage Driver: overlay2
Backing Filesystem: xfs
...


正常情况下&＃xff0c;只有很少量的数据被写入到容器最上层的写入层&＃xff0c;并且通过volume来写数据&＃xff0c;然而也会遇到一些情况需要我们可以直接写入到容器的写入层&＃xff0c;这时就需要storage driver来完成此项任务。
Docker使用一系列不同的storage driver来管理镜像层和容器层&＃xff0c;这些storage driver不同于volume。

一个镜像是由若干镜像层组成;Dockerfile中的每条指令都会生成一个镜像层&＃xff0c;除了最上面的一层之外&＃xff0c;其他的都是只读的;最上一层主要是镜像运行时的一些命令;每一层只是与它之前的层有一些不同&＃xff0c;层层堆叠在一起;创建容器时&＃xff0c;只是在底层上添加一个新的可写层&＃xff0c;这一层通常称为“容器层”;


Docker支持多种storage driver&＃xff0c;有AUFS、Device Mapper、Btrfs、OverlayFS、VFS和ZFS。
它们都能实现分层的架构&＃xff0c;同时又有各自的特性。
对于Docker用户来说&＃xff0c;具体选择使用哪个storage driver是一个难题&＃xff0c;主要是因为:

(1)没有哪个driver能够适应所有的场景;(2)driver本身在快速发展和迭代;


2.优先使用Linux发行版默认的storage driver
Docker安装时会根据当前系统的配置选择默认的driver。默认driver具有最好的稳定性&＃xff0c;因为默认driver在发行版上经过了严格的测试。
Ubuntu用的AUFS&＃xff0c;底层文件系统是extfs&＃xff0c;各层数据存放在/var/lib/docker/aufs下。
Redhat/CentOS的默认driver是Device Mapper&＃xff0c;SUSE则是Btrfs。
对于某些容器&＃xff0c;直接将数据放在由storage driver维护的层中是很好的选择&＃xff0c;比如那些无状态的应用。无状态意味着容器没有需要持久化的数据&＃xff0c;随时可以从镜像直接创建。
比如busybox&＃xff0c;它是一个工具箱&＃xff0c;启动busybox是为了执行诸如wget&＃xff0c;ping之类的命令&＃xff0c;不需要保存数据供以后使用&＃xff0c;使用完直接退出&＃xff0c;容器删除时存放在容器层中的工作数据也一起被删除&＃xff0c;下次再启动新容器即可。
但对于另一类应用就不合适了&＃xff0c;它们有持久化数据的需求&＃xff0c;容器启动时需要加载已有的数据&＃xff0c;容器销毁时希望保留产生的新数据&＃xff0c;这类容器是有状态的。这就要用到Docker的另一种存储机制&＃xff1a;Data Volume。

二、data volume介绍

1.简介
本质上是Docker Host文件系统中的目录或文件&＃xff0c;能够直接被mount到容器的文件系统中。
有以下特点&＃xff1a;

(1)Data Volume是目录或文件&＃xff0c;而非没有格式化的磁盘&＃xff08;块设备&＃xff09;;(2)容器可以读写volume中的数据;(3)volume数据可以被永久的保存&＃xff0c;即使使用它的容器已经销毁;


现在有数据层&＃xff08;镜像层和容器层&＃xff09;和volume都可以用来存放数据&＃xff0c;具体使用时要怎样选择呢&＃xff1f;
考虑下面几个场景&＃xff1a;

Database软件 vs Database数据Web应用 vs 应用产生的日志数据分析软件 vs input/output数据Apache Server vs 静态HTML文件


前者放在数据层中&＃xff0c;因为这部分内容是无状态的&＃xff0c;应该作为镜像的一部分&＃xff1b;后者放在Data Volume中&＃xff0c;这是需要持久化的数据&＃xff0c;并且应该与镜像分开存放。
关于如何设置volume的容量&＃xff1f;
因为volume实际上是docker host文件系统的一部分&＃xff0c;所以volume的容量取决于文件系统当前未使用的空间&＃xff0c;目前还没有方法设置volume的容量。

三、Bind mount介绍

1.简介
持久化存储&＃xff1a;本质上是Docker Host文件系统中的目录或文件&＃xff0c;能够直接被Mount到容器的文件系统中。在运行容器时&＃xff0c;可以通过-v实现。
2.示例
运行一个nginx服务&＃xff0c;做数据持久化。

[root&＃64;docker ~]# mkdir html
[root&＃64;docker ~]# cd html
[root&＃64;docker html]# vim index.html
this is testfile.
[root&＃64;docker html]# docker run -itd --name testweb -p 80 --restart always -v /root/html:/usr/share/nginx/html nginx
[root&＃64;docker html]# docker inspect testweb | grep IPAddress"SecondaryIPAddresses": null,"IPAddress": "172.17.0.2","IPAddress": "172.17.0.2",
[root&＃64;docker html]# curl 172.17.0.2
this is testfile.


注意&＃xff1a;Docker Host上需要被挂载的源文件或目录&＃xff0c;必须是已经存在&＃xff0c;否则当做一个目录挂载到容器中。
host中的修改确实生效了&＃xff0c;bind mount可以让host与容器共享数据。这在管理上非常方便。

[root&＃64;docker html]# docker exec -it testweb bash
root&＃64;6e3827be6c51:/# echo 123 > /usr/share/nginx/html/index.html
root&＃64;6e3827be6c51:/# cat /usr/share/nginx/html/index.html
123
root&＃64;6e3827be6c51:/# exit
exit
[root&＃64;docker html]# cat index.html
123


即使容器没有了&＃xff0c;bind mount也还在。bind mount是host文件系统中的数据&＃xff0c;只是借给容器使用。
默认挂载到容器内的文件&＃xff0c;容器是有读写权限。可以在运行容器是-v后加“:ro”限制容器的写入权限。

[root&＃64;docker html]# docker run -itd --name testweb -p 80 --restart always -v /root/html:/usr/share/nginx/html:ro nginx


并且还可以挂载单独的文件到容器内部&＃xff0c;一般它的使用场景是&＃xff1a;如果不想对整个目录进行覆盖&＃xff0c;而只希望添加某个文件&＃xff0c;就可以使用挂载单个文件。

[root&＃64;docker html]# docker run -itd --name testweb -p 80 --restart always -v /root/html/index.html:/usr/share/nginx/html/index.html:ro nginx


mount point有很多应用场景&＃xff0c;比如可以将源代码目录mount到容器中&＃xff0c;在host中修改代码就能看到应用的实时效果。再比如将mysql容器的数据放在bind mount里&＃xff0c;这样host可以方便地备份和迁移数据。
bind mount的使用直观高效&＃xff0c;易于理解&＃xff0c;但它也有不足的地方&＃xff1a;bind mount需要指定host文件系统的特定路径&＃xff0c;这就限制了容器的可移植性&＃xff0c;当需要将容器迁移到其它host&＃xff0c;而该host没有要mount的数据或者数据不在相同的路径时&＃xff0c;操作会失败。

四、Docker Manager Volume介绍

1.简介
docker manager volume与bind mount在使用上的最大区别是不需要指定mount源&＃xff0c;指明mount point就行。

[root&＃64;docker html]# docker run -itd --name t1 -p 80 --restart always -v /usr/share/nginx/html nginx


通过-v告诉docker需要一个data volume&＃xff0c;并将其mount到/usr/share/nginx/html。
这个data volume可以在容器的配置信息中找到&＃xff0c;执行docker inspect命令即可。

[root&＃64;docker html]# docker inspect t1
..."Mounts": [{"Type": "volume","Name": "fd8381b019f90f9e86509bf6fb3e43ccaebab09df2d1f3743dd8c63880ae9475","Source": "/var/lib/docker/volumes/fd8381b019f90f9e86509bf6fb3e43ccaebab09df2d1f3743dd8c63880ae9475/_data","Destination": "/usr/share/nginx/html","Driver": "local","Mode": "","RW": true,"Propagation": ""}],
...


每当容器申请mount docker manger volume时&＃xff0c;docker都会在/var/lib/docker/volumes下生成一个目录&＃xff0c;这个目录就是mount源。删除容器的操作&＃xff0c;默认不会对dockerHost上的源文件操作&＃xff0c;如果想要在删除容器时把源文件也删除&＃xff0c;可以在删除容器时添加-v选项&＃xff08;一般不推荐使用这种方式&＃xff0c;因为文件有可能被其他容器使用&＃xff09;。
2.手动创建volume

[root&＃64;docker html]# docker volume create testweb
testweb
[root&＃64;docker html]# docker volume ls
DRIVER VOLUME NAME
local fd8381b019f90f9e86509bf6fb3e43ccaebab09df2d1f3743dd8c63880ae9475
local testweb
[root&＃64;docker html]# docker volume inspect testweb
[{"CreatedAt": "2020-09-08T04:18:33-04:00","Driver": "local","Labels": {},"Mountpoint": "/var/lib/docker/volumes/testweb/_data","Name": "testweb","Options": {},"Scope": "local"}
]
[root&＃64;docker html]# docker run -itd --name t2 -p 80 --restart always -v testweb:/usr/share/nginx/html nginx
[root&＃64;docker html]# docker inspect t2
..."Mounts": [{"Type": "volume","Name": "testweb","Source": "/var/lib/docker/volumes/testweb/_data","Destination": "/usr/share/nginx/html","Driver": "local","Mode": "z","RW": true,"Propagation": ""}],
...


注意&＃xff1a;运行容器时使用手动创建的volume&＃xff0c;在书写格式上和bind mount一样&＃xff0c;但查看容器的详细信息&＃xff0c;其实它仍然使用的是docker manager volume这种方式。
3.总结
Bind Mount和Docker Manager Volume的特点

五、容器与容器的数据共享

1.简介
volume container&＃xff1a;给其他容器提供volume存储卷的容器。并且它可以提供bind mount&＃xff0c;也可以提供docker manager volume。
2.创建一个vc_data容器

[root&＃64;docker ~]# docker create --name vc_data -v ~/html:/usr/share/nginx/html -v /other/useful/tools busybox


3.使用vc容器

[root&＃64;docker ~]# docker run -itd --name t3 -P --volumes-from vc_data nginx


4.容器的跨主机数据共享

要求&＃xff1a;docker1和docker2上基于httpd镜像运行2个或多个容器&＃xff0c;保证主目录&＃xff08;默认访问界面内容&＃xff09;是一样的。
5.docker3上的操作

[root&＃64;docker3 ~]# yum -y install nfs-utils
[root&＃64;docker3 ~]# mkdir /datashare
[root&＃64;docker3 ~]# vim /etc/exports
/datashare *(rw,sync,no_root_squash)
[root&＃64;docker3 ~]# systemctl start rpcbind
[root&＃64;docker3 ~]# systemctl enable rpcbind
[root&＃64;docker3 ~]# systemctl start nfs-server
[root&＃64;docker3 ~]# systemctl enable nfs-server
[root&＃64;docker3 ~]# vim /datashare/index.html
snow-webshare


6.docker1上的操作

[root&＃64;docker1 ~]# yum -y install nfs-utils
[root&＃64;docker1 ~]# showmount -e 192.168.229.50
[root&＃64;docker1 ~]# mkdir /htdocs
[root&＃64;docker1 ~]# mount -t nfs 192.168.229.50:/datashare /htdocs
[root&＃64;docker1 ~]# cat /htdocs/index.html
snow-webshare


7.docker2的操作与docker1上一样
这里先不考虑将代码写入镜像&＃xff0c;先以这种方式&＃xff0c;分别在docker1和docker2部署httpd服务。
docker1

[root&＃64;docker1 ~]# docker run -itd --name snow-web1 -P -v /htdocs:/usr/local/apache2/htdocs httpd:latest


docker2

[root&＃64;docker2 ~]# docker run -itd --name snow-web2 -P -v /htdocs:/usr/local/apache2/htdocs httpd:latest


用浏览器访问&＃xff0c;两个WEB服务的主界面是一样。如果NFS服务器上的源文件丢失&＃xff0c;则两个web服务都会异常。
想办法将源数据写入镜像内&＃xff0c;再基于镜像做一个vc_data容器。在docker1和docker2上先手动创建镜像。
docker1

[root&＃64;docker1 htdocs]# vim Dockerfile
FROM busybox
COPY index.html /usr/local/apache2/htdocs/index.html
VOLUME /usr/local/apache2/htdocs
[root&＃64;docker1 htdocs]# docker build -t back_data .
[root&＃64;docker1 htdocs]# docker create --name back_container1 back_data


8.总结

(1)解决容器跨主机数据共享的方案&＃xff1a;NFS;(2)容器与容器的数据共享&＃xff1a;基于某个容器而来(--volumes-from选项)&＃xff0c;意味着这些容器和vc容器的数据存储是一样的;