为什么要用Ceph

Ceph是当前非常流行的开源分布式存储系统&＃xff0c;具有高扩展性、高性能、高可靠性等优点&＃xff0c;同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)&＃xff0c;Ceph在存储的时候充分利用存储节点的计算能力&＃xff0c;在存储每一个数据时都会通过计算得出该数据的位置&＃xff0c;尽量的分布均衡。。目前也是OpenStack的主流后端存储&＃xff0c;随着OpenStack在云计算领域的广泛使用&＃xff0c;ceph也变得更加炙手可热。国内目前使用ceph搭建分布式存储系统较为成功的企业有x-sky,深圳元核云&＃xff0c;上海UCloud等三家企业。

Ceph架构介绍

Ceph使用RADOS提供对象存储&＃xff0c;通过librados封装库提供多种存储方式的文件和对象转换。外层通过RGW(Object&＃xff0c;有原生的API&＃xff0c;而且也兼容Swift和S3的API&＃xff0c;适合单客户端使用)、RBD(Block&＃xff0c;支持精简配置、快照、克隆&＃xff0c;适合多客户端有目录结构)、CephFS(File&＃xff0c;Posix接口&＃xff0c;支持快照&＃xff0c;社会和更新变动少的数据&＃xff0c;没有目录结构不能直接打开)将数据写入存储。

高性能 a. 摒弃了传统的集中式存储元数据寻址的方案&＃xff0c;采用CRUSH算法&＃xff0c;数据分布均衡&＃xff0c;并行度高 b.考虑了容灾域的隔离&＃xff0c;能够实现各类负载的副本放置规则&＃xff0c;例如跨机房、机架感知等 c. 能够支持上千个存储节点的规模&＃xff0c;支持TB到PB级的数据

高可扩展性 a. 去中心化 b. 扩展灵活 c. 随着节点增加而线性增长

特性丰富 a. 支持三种存储接口&＃xff1a;块存储、文件存储、对象存储 b. 支持自定义接口&＃xff0c;支持多种语言驱动

Ceph核心概念

RADOS

全称Reliable Autonomic Distributed Object Store&＃xff0c;即可靠的、自动化的、分布式对象存储系统。RADOS是Ceph集群的精华&＃xff0c;用户实现数据分配、Failover等集群操作。

Librados

Rados提供库&＃xff0c;因为RADOS是协议很难直接访问&＃xff0c;因此上层的RBD、RGW和CephFS都是通过librados访问的&＃xff0c;目前提供PHP、Ruby、Java、Python、C和C&＃43;&＃43;支持。

Crush

Crush算法是Ceph的两大创新之一&＃xff0c;通过Crush算法的寻址操作&＃xff0c;Ceph得以摒弃了传统的集中式存储元数据寻址方案。而Crush算法在一致性哈希基础上很好的考虑了容灾域的隔离&＃xff0c;使得Ceph能够实现各类负载的副本放置规则&＃xff0c;例如跨机房、机架感知等。同时&＃xff0c;Crush算法有相当强大的扩展性&＃xff0c;理论上可以支持数千个存储节点&＃xff0c;这为Ceph在大规模云环境中的应用提供了先天的便利。

Pool

Pool是存储对象的逻辑分区&＃xff0c;它规定了数据冗余的类型和对应的副本分布策略&＃xff0c;支持两种类型&＃xff1a;副本(replicated)和 纠删码( Erasure Code)&＃xff1b;

PG

PG( placement group)是一个放置策略组&＃xff0c;它是对象的集合&＃xff0c;该集合里的所有对象都具有相同的放置策略&＃xff0c;简单点说就是相同PG内的对象都会放到相同的硬盘上&＃xff0c;PG是 ceph的逻辑概念&＃xff0c;服务端数据均衡和恢复的最小粒度就是PG&＃xff0c;一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据&＃xff1b;

Object

简单来说块存储读写快&＃xff0c;不利于共享&＃xff0c;文件存储读写慢&＃xff0c;利于共享。能否弄一个读写快&＃xff0c;利 于共享的出来呢。于是就有了对象存储。最底层的存储单元&＃xff0c;包含元数据和原始数据。

Ceph核心组件

OSD

OSD是负责物理存储的进程&＃xff0c;一般配置成和磁盘一一对应&＃xff0c;一块磁盘启动一个OSD进程。主要功能是存储数据、复制数据、平衡数据、恢复数据&＃xff0c;以及与其它OSD间进行心跳检查&＃xff0c;负责响应客户端请求返回具体数据的进程等&＃xff1b;

Pool、PG和OSD的关系&＃xff1a;

• 一个Pool里有很多PG&＃xff1b;
• 一个PG里包含一堆对象&＃xff0c;一个对象只能属于一个PG&＃xff1b;
• PG有主从之分&＃xff0c;一个PG分布在不同的OSD上(针对三副本类型);

Monitor

一个Ceph集群需要多个Monitor组成的小集群&＃xff0c;它们通过Paxos同步数据&＃xff0c;用来保存OSD的元数据。负责监视整个Ceph集群运行的Map视图(如OSD Map、Monitor Map、PG Map和CRUSH Map)&＃xff0c;维护集群的健康状态&＃xff0c;维护展示集群状态的各种图表&＃xff0c;管理集群客户端认证与授权&＃xff1b;

MDS

MDS全称Ceph Metadata Server&＃xff0c;是CephFS服务依赖的元数据服务。负责保存文件系统的元数据&＃xff0c;管理目录结构。对象存储和块设备存储不需要元数据服务&＃xff1b;

Mgr

ceph 官方开发了 ceph-mgr&＃xff0c;主要目标实现 ceph 集群的管理&＃xff0c;为外界提供统一的入口。例如cephmetrics、zabbix、calamari、promethus

RGW

RGW全称RADOS gateway&＃xff0c;是Ceph对外提供的对象存储服务&＃xff0c;接口与S3和Swift兼容。

Admin

Ceph常用管理接口通常都是命令行工具&＃xff0c;如rados、ceph、rbd等命令&＃xff0c;另外Ceph还有可以有一个专用的管理节点&＃xff0c;在此节点上面部署专用的管理工具来实现近乎集群的一些管理工作&＃xff0c;如集群部署&＃xff0c;集群组件管理等。

Ceph三种存储类型

1、 块存储(RBD)

• 优点&＃xff1a;通过Raid与LVM等手段&＃xff0c;对数据提供了保护&＃xff1b;多块廉价的硬盘组合起来&＃xff0c;提高容量&＃xff1b;多块磁盘组合出来的逻辑盘&＃xff0c;提升读写效率&＃xff1b;
• 缺点&＃xff1a;采用SAN架构组网时&＃xff0c;光纤交换机&＃xff0c;造价成本高&＃xff1b;主机之间无法共享数据&＃xff1b;
• 使用场景docker容器、虚拟机磁盘存储分配&＃xff1b;日志存储&＃xff1b;文件存储&＃xff1b;

2、文件存储(CephFS)

• 优点&＃xff1a;造价低&＃xff0c;随便一台机器就可以了&＃xff1b;方便文件共享&＃xff1b;
• 缺点&＃xff1a;读写速率低&＃xff1b;传输速率慢&＃xff1b;
• 使用场景日志存储&＃xff1b;FTP、NFS&＃xff1b;其它有目录结构的文件存储

3、对象存储(Object)(适合更新变动较少的数据)

• 优点&＃xff1a;具备块存储的读写高速&＃xff1b;具备文件存储的共享等特性&＃xff1b;

• 使用场景图片存储&＃xff1b;视频存储&＃xff1b;