通信行业用统一大数据平台破解“多租户”

ZD至顶网CIO与应用频道 08月10日 评论分析（文/王聪彬）：源于互联网的大数据技术，现如今已经深入到传统行业之中。各行各业大都在积极使用大数据推动数字化转型，基于每个行业的特点和信息化水平的不同，在大数据的应用上也各不相同，其中金融、电信、政府、交通行业领跑大数据应用。

某电信运营商的大数据应用在运营商中属于第一梯队，早在3、4年前就开始了大数据平台的建设。但随着业务带动数据量的增长，也产生了多租户的问题，所以在大数据平台二期建设上，其考虑通过统一架构来解决多租户问题。

运营商的多租户挑战

在大数据应用上可以分为三个阶段，第一，实验期，非核心业务的应用；第二，广泛使用期，针对一些大数据技术选择使用的场景；第三，引领发展期，实现创新应用。

电信行业算是最早使用大数据开展业务的行业之一，在大数据的应用上已经经历了第一阶段大多处在第二阶段，而且运营商目前也正进入新的转型期，大数据也将成为创新的驱动力。

而在大数据广泛使用期的运营商有两大驱动力需求：业务和技术。业务驱动力表现为实现端到端的业务模型，从用户画像提炼出目标客户产生价值等；技术驱动力表现为技术平台的建设满足不同的需求。在大数据应用第二阶段的后期，两种驱动力也会交织在一起，运营商甚至建立专门的大数据部门，来统筹和实现需求。

运营商在各省市都有不同的分支机构，某电信运营商作为第一批建设大数据的运营商，在3、4年前就开始大数据平台的建设，2年内获得了超过3000万的业务收益。但随着海量数据和数据应用种类的不断增长，大数据系统超负荷运行，对业务的稳定性和安全造成了潜在风险。

这也是运营商在大数据应用第二阶段最突出的问题“多租户”，多租户是一个比较广的概念，其中涵盖了资源共享、资源调度、可视化管理，多租户也基本代表了规模以上企业在技术驱动的大部分范畴。

多租户来自于使用和维护部门的直接需求，之前运营商在IT系统的建设上都是一个应用一套平台，这也造成了系统和系统之间的隔阂，产生大量的孤岛。在经过不断的架构优化后，逐渐形成了在统一的平台建立大数据应用，这就需要实现硬件甚至数据的共享。在应用都在分享资源时，如何调派这些资源，就产生了多租户的需求。

构建统一架构大数据平台

某电信运营商需要满足分批量数据处理的同时，引入实时分析应用，提高数据的高效利用率，挖掘潜在数据价值。

在Hadoop的初期并不具备实现条件，经过发展目前Hadoop已经可以很好的满足多租户需求，但中间需要大量定制化开发。而且单一系统也不能完成大数据的所有需求，这也使得需要一个全面的解决方案。

某电信运营商在大数据平台上更加关注实施风险和性价比，以Platform和GPFS为基础结合开源Hadoop2.0+Spark整体解决方案实现完全兼容满足多租户需求，即使在租户数量增多的情况下，也能保证企业租户享有安全稳定高效的应用性能。

最终选用Linux on Power主要是考虑硬件本身的性能、可靠性、安全性，之后再对比软件的性价比。相比X86服务器，Linux on Power在其中起到了软硬互相优化的作用，Power对于商业软件还是开源软件都有很好的兼容性，而且还可以针对性的进行调优。而且在同一平台上实现支持不同开源Hadoop版本，解决了集成问题，避免了推倒重来和数据迁移。

目前某电信运营商的大数据平台已经进入第二期建设，每天数据量峰值已经超过50TB，平台上的数据提供给业务部门、维护部门、创新中心三大部门使用。

大数据平台在支持运营之外，提供了共享的框架，节省了资源提高利用率，该省公司也因此成为中国移动在大数据应用上的标杆工程。而且通过隔离功能可以让不同应用运行在平台的同时，还可以实现数据的共享，提高性能的同时降低开发成本。

在未来大数据平台的规划上将更加突出业务特性，甚至有可能将其他省公司也接入到该省公司的大数据平台，在技术层面越来越基于云进行分析，提升整个平台的性能并进一步降低运维成本。