海量数据处理利器greenplummdash;mdash;初识

简介及适用场景

如果想在数据仓库中快速查询结果&＃xff0c;可以使用greenplum。

Greenplum数据库也简称GPDB。它拥有丰富的特性&＃xff1a;

第一&＃xff0c;完善的标准支持&＃xff1a;GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展&＃xff1b;从应用编程接口上讲&＃xff0c;它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL&＃xff0c;NewSQL和Hadoop 对 SQL 的支持都不完善&＃xff0c;不同的系统需要单独开发和管理&＃xff0c;且移植性不好。

第二&＃xff0c;支持分布式事务&＃xff0c;支持ACID。保证数据的强一致性。

第三&＃xff0c;做为分布式数据库&＃xff0c;拥有良好的线性扩展能力。在国内外用户生产环境中&＃xff0c;具有上百个物理节点的GPDB集群都有很多案例。

第四&＃xff0c;GPDB是企业级数据库产品&＃xff0c;全球有上千个集群在不同客户的生产环境运行。这些集群为全球很多大的金融、政府、物流、零售等公司的关键业务提供服务。

第五&＃xff0c;GPDB是Greenplum&＃xff08;现在的Pivotal&＃xff09;公司十多年研发投入的结果。GPDB基于PostgreSQL 8.2&＃xff0c;PostgreSQL 8.2有大约80万行源代码&＃xff0c;而GPDB现在有130万行源码。相比PostgreSQL 8.2&＃xff0c;增加了约50万行的源代码。

第六&＃xff0c;Greenplum有很多合作伙伴&＃xff0c;GPDB有完善的生态系统&＃xff0c;可以与很多企业级产品集成&＃xff0c;譬如SAS&＃xff0c;Cognos&＃xff0c;Informatic&＃xff0c;Tableau等&＃xff1b;也可以很多种开源软件集成&＃xff0c;譬如Pentaho,Talend 等。

greenplum起源

Greenplum最早是在10多年前&＃xff08;大约在2002年&＃xff09;出现的&＃xff0c;基本上和Hadoop是同一时期&＃xff08;Hadoop 约是2004年前后&＃xff0c;早期的Nutch可追溯到2002年&＃xff09;。当时的背景是&＃xff1a;

互联网行业经过之前近10年的由慢到快的发展&＃xff0c;累积了大量信息和数据&＃xff0c;数据在爆发式增长&＃xff0c;这些海量数据急需新的计算方式&＃xff0c;需要一场计算方式的革命&＃xff1b;
传统的主机计算模式在海量数据面前&＃xff0c;除了造价昂贵外&＃xff0c;在技术上也难于满足数据计算性能指标&＃xff0c;传统主机的Scale-up模式遇到了瓶颈&＃xff0c;SMP&＃xff08;对称多处理&＃xff09;架构难于扩展&＃xff0c;并且在CPU计算和IO吞吐上不能满足海量数据的计算需求&＃xff1b;
分布式存储和分布式计算理论刚刚被提出来&＃xff0c;Google的两篇著名论文发表后引起业界的关注&＃xff0c;一篇是关于GFS分布式文件系统&＃xff0c;另外一篇是关于MapReduce 并行计算框架的理论&＃xff0c;分布式计算模式在互联网行业特别是收索引擎和分词检索等方面获得了巨大成功。

下图就是GFS的架构

总体架构

greenplum的总体架构如下&＃xff1a;

数据库由Master Severs和Segment Severs通过Interconnect互联组成。

Master主机负责&＃xff1a;建立与客户端的连接和管理&＃xff1b;SQL的解析并形成执行计划&＃xff1b;执行计划向Segment的分发收集Segment的执行结果&＃xff1b;Master不存储业务数据&＃xff0c;只存储数据字典。

Segment主机负责&＃xff1a;业务数据的存储和存取&＃xff1b;用户查询SQL的执行。

greenplum使用mpp架构。