淘宝大数据之路

免费开通大数据服务：https://www.aliyun.com/product/odps

转载yanchun

2003年至今淘宝网从零开始飞速发展，走过了13个年头，支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台，淘宝大数据平台，就是其中非常重要的一个组成部分，承担了数据采集、加工处理、数据应用的职责，淘宝大数据平台一路到今天，总共经历了三个大的阶段（如图1），不同阶段面临了不一样的挑战，随着我的理解回顾下这些年大数据所经历过的故事：

图1 数据仓库平台发展三个阶段

第一个阶段：RAC时代

      2008年前的单节点ORACLE，这个时候还称不上数据仓库，只能承担简单的数据处理工作，也基本上没有数据仓库架构，随着业务的飞速发展，很快单节点的ORACLE因无扩展能力，计算存储能力就应付不了了；

      2008年之后，为了应对日