【干货】大数据平台建设实践与探讨

导读：微店是全球领先的移动电商网络，创造了一个便利的手机购物环境，目前有超过3000万的店主使用微店销售商品。微店大数据架构师王锋，将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。

马云说“人类正从IT时代走向DT时代”。这个观念提法很快就被广泛传播开来，并被人们所接受。这里笔者不准备大谈DT时代，但是相信DT时代一定是以数据处理为核心的，因此大数据技术在这里有至关重要的地位，很有幸笔者及各位看官正在这个领域努力。

曾看到一篇文章，里面有个观点，“DT时代的骨骼——大数据处理平台”，反映了大数据处理平台在互联网或者移动互联网公司的重要性。大数据处理平台其实包含了整个大数据处理过程，它承载了从数据采集、传输、存储、分析挖掘（离线 OR、实时 OR、即席查询）、可视化、价值体现的整体流程。这些在大的互联网公司