联机分析的列式数据库clickHouse

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

在传统的行式数据库系统中&＃xff0c;数据按如下顺序存储&＃xff1a;

处于同一行中的数据总是被物理的存储在一起。

常见的行式数据库系统有&＃xff1a;MySQL、Postgres和MS SQL Server。

在列式数据库系统中&＃xff0c;数据按如下的顺序存储&＃xff1a;

这些示例只显示了数据的排列顺序。来自不同列的值被单独存储&＃xff0c;来自同一列的数据被存储在一起。

常见的列式数据库有&＃xff1a;Vertica、 Paraccel (Actian Matrix&＃xff0c;Amazon Redshift)、 Sybase IQ、 Exasol、 Infobright、 InfiniDB、 MonetDB (VectorWise&＃xff0c; Actian Vector)、 LucidDB、 SAP HANA、 Google Dremel、 Google PowerDrill、 Druid、 kdb&＃43;。

不同的数据存储方式适用不同的业务场景&＃xff0c;数据访问的场景包括&＃xff1a;进行了何种查询、多久查询一次以及各类查询的比例&＃xff1b;每种类型的查询(行、列和字节)读取多少数据&＃xff1b;读取数据和更新之间的关系&＃xff1b;使用的数据集大小以及如何使用本地的数据集&＃xff1b;是否使用事务,以及它们是如何进行隔离的&＃xff1b;数据的复制机制与数据的完整性要求&＃xff1b;每种类型的查询要求的延迟与吞吐量等等。

系统负载越高&＃xff0c;依据使用场景进行定制化就越重要&＃xff0c;并且定制将会变的越精细。没有一个系统能够同时适用所有不同的业务场景。如果系统适用于广泛的场景&＃xff0c;在负载高的情况下&＃xff0c;要兼顾所有的场景&＃xff0c;那么将不得不做出选择。是要平衡还是要效率&＃xff1f;

OLAP场景的关键特征 

• 绝大多数是读请求

• 数据以相当大的批次(> 1000行)更新&＃xff0c;而不是单行更新;或者根本没有更新。

• 已添加到数据库的数据不能修改。

• 对于读取&＃xff0c;从数据库中提取相当多的行&＃xff0c;但只提取列的一小部分。

• 宽表&＃xff0c;即每个表包含着大量的列

• 查询相对较少(通常每台服务器每秒查询数百次或更少)

• 对于简单查询&＃xff0c;允许延迟大约50毫秒

• 列中的数据相对较小&＃xff1a;数字和短字符串(例如&＃xff0c;每个URL 60个字节)

• 处理单个查询时需要高吞吐量(每台服务器每秒可达数十亿行)

• 事务不是必须的

• 对数据一致性要求低

• 每个查询有一个大表。除了他以外&＃xff0c;其他的都很小。

• 查询结果明显小于源数据。换句话说&＃xff0c;数据经过过滤或聚合&＃xff0c;因此结果适合于单个服务器的RAM中

很容易可以看出&＃xff0c;OLAP场景与其他通常业务场景(例如,OLTP或K/V)有很大的不同&＃xff0c; 因此想要使用OLTP或Key-Value数据库去高效的处理分析查询场景&＃xff0c;并不是非常完美的适用方案。例如&＃xff0c;使用OLAP数据库去处理分析请求通常要优于使用MongoDB或Redis去处理分析请求。

列式数据库更适合OLAP场景的原因 

列式数据库更适合于OLAP场景(对于大多数查询而言&＃xff0c;处理速度至少提高了100倍)&＃xff0c;下面详细解释了原因(通过图片更有利于直观理解)&＃xff1a;

行式

列式

看到差别了么&＃xff1f;下面将详细介绍为什么会发生这种情况。

输入/输出 

1. 针对分析类查询&＃xff0c;通常只需要读取表的一小部分列。在列式数据库中你可以只读取你需要的数据。例如&＃xff0c;如果只需要读取100列中的5列&＃xff0c;这将帮助你最少减少20倍的I/O消耗。

2. 由于数据总是打包成批量读取的&＃xff0c;所以压缩是非常容易的。同时数据按列分别存储这也更容易压缩。这进一步降低了I/O的体积。

3. 由于I/O的降低&＃xff0c;这将帮助更多的数据被系统缓存。

例如&＃xff0c;查询«统计每个广告平台的记录数量»需要读取«广告平台ID»这一列&＃xff0c;它在未压缩的情况下需要1个字节进行存储。如果大部分流量不是来自广告平台&＃xff0c;那么这一列至少可以以十倍的压缩率被压缩。当采用快速压缩算法&＃xff0c;它的解压速度最少在十亿字节(未压缩数据)每秒。换句话说&＃xff0c;这个查询可以在单个服务器上以每秒大约几十亿行的速度进行处理。这实际上是当前实现的速度。

CPU 

由于执行一个查询需要处理大量的行&＃xff0c;因此在整个向量上执行所有操作将比在每一行上执行所有操作更加高效。同时这将有助于实现一个几乎没有调用成本的查询引擎。如果你不这样做&＃xff0c;使用任何一个机械硬盘&＃xff0c;查询引擎都不可避免的停止CPU进行等待。所以&＃xff0c;在数据按列存储并且按列执行是很有意义的。

有两种方法可以做到这一点&＃xff1a;

1. 向量引擎&＃xff1a;所有的操作都是为向量而不是为单个值编写的。这意味着多个操作之间的不再需要频繁的调用&＃xff0c;并且调用的成本基本可以忽略不计。操作代码包含一个优化的内部循环。

2. 代码生成&＃xff1a;生成一段代码&＃xff0c;包含查询中的所有操作。

这是不应该在一个通用数据库中实现的&＃xff0c;因为这在运行简单查询时是没有意义的。但是也有例外&＃xff0c;例如&＃xff0c;MemSQL使用代码生成来减少处理SQL查询的延迟(只是为了比较&＃xff0c;分析型数据库通常需要优化的是吞吐而不是延迟)。

请注意&＃xff0c;为了提高CPU效率&＃xff0c;查询语言必须是声明型的(SQL或MDX)&＃xff0c; 或者至少一个向量(J&＃xff0c;K)。查询应该只包含隐式循环&＃xff0c;允许进行优化。