文思海辉贾丕星：大数据时代对传统数据仓库的五点思考

在文思海辉金融商业智能解决方案研讨会上文思海辉副总裁贾丕星表示，文思海辉的商业智能团队已经发展到452人的规模，并且随着国内银行商业智能领域发展，还在逐步完善解决方案和扩大团队。

贾丕星指出，现阶段银行商业体系是基石，把数据做有效的存储，以及好的管理，未来商业智能领域会发展的很好，未来三五年之内这仍然是文思海辉解决方案的核心。

“小数据和大数据在银行业里更多是互为补充而不是替代。小数据比较简单，有比较成熟的技术应对。大数据更多的是理念优先，其一个典型特征是价值密度较低，这也是大数据带来的思考。”

贾丕星认为，银行思考大数据更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行。文思海辉在大数据领域仍然保持和合作伙伴厂商紧密接触。像IBM、BMC、Oracle每一家对大数据的理解其实是有差异的，而且差异非常大。

贾丕星指出了大数据时代针对传统数据仓库的思考，其中包括不要因为大数据扰乱我们的原则、规划、节奏；技术和平台已经不是我们关注的重点；原则和架构在“以不变应万变”中显得尤为重要；正确的方法论、管控的水平决定了质量；引导客户主动的“分析探索”是永恒的话题；

以下为演讲实录：

大家知道文思和海辉是去年年底合并的，从集团研发对我们支持角度来说：第一点祥麟给了我们一个很好的技术规划体系。第二个是智慧金融这个概念，把所有金融事业群解决方案有效整合在一起。形成应对未来银行业务发展很好的体系。从这两个角度来说，给了整个商业智能部这边很大的支持。

今天我讲的是数据仓库的概念。我们这个团队跟大家认识都是从数据仓库这个角度跟大家相识的。我们这个团队一直被认为是业内做商业智能做的比较久，相对来说比较专业的团队。每年我基本都讲第一场，对我来说也是一个很大的挑战。每年都想讲一点我这一年多的新的体会和感受跟大家分享。今天讲什么呢？前段时间我在外面讲的更多的是从小数据角度看大数据，大数据现在提的越来越多，小数据从另外一个角度理解它，它种类比较单一但是业务种类并不单一；第二它量比较小，大数据量可以很大。

大数据的年代里，真正的数据仓库应该如何规划建设？我们今年也有自己更多的思考和体会。讲这个之前，我还是把团队的情况给大家做一个简单回顾。在各位新老客户支持下，我们商业智能团队从去年300多人，现在已经发展到452人的规模。我们跟随着国内银行商业智能领域发展，在逐步完善我们的解决方案和扩大我们的团队。我们团队主要分布在华东、华北、华南三个区域。跟随着客户在成长，我们有越来越多的新的解决方案和原有解决方案的优化在不断的推出。

我们传统的优势就是数据仓库和数据管控，这两个方面会放在今天上午跟大家分享。现阶段银行商业智能体系的基石，还是把数据做有效的存储和更好的管理，这个领域未来三五年之内这仍然是我们解决方案的核心。

团队为什么会有所成长？跟我们自己承接了更多的项目有关。在过去两年，所有业内资产排名前20位银行里，新启动五个数据仓库都是由我们团队承接的。正是有这样好的项目机会让你的团队有成长，解决方案不断的优化。

我今天既看到了特别支持我们的长期的老客户，也看到我们未来有合作机会的新客户。这是我们近期拿下来的国内一个大型股份制银行的数据架构规划和数据仓库规划咨询项目。这个项目有很大的挑战，客户需要对他们管理信息类的系统进行全面的梳理，我们也对过去5年我们的积累进行总结，这是很好的结合。数据仓库只靠一个EDW发挥不了太多的作用，更多的是规划的角度，围绕从数据的产生、交换、存储、使用，由数据转成业务价值的全过程。这个是我们更愿意看到的东西。我们不希望大家理解的BI仅仅是一个平台，存储了企业里面有效、无效所有的信息，这个没意思。有意思是的通过价值体系的打造让它更好的发挥价值。

说到这点，结合今天题目去谈，就是小数据和大数据的概念。我从不觉得大数据是新的有震撼力的东西，但是它确实给我们带来了转变。我个人理解它们两个没有什么所谓替代形成，特别是银行业里面，更多的是互为补充。

从另外一个角度来讲，小数据比较简单，有比较成熟的技术应对它。大数据是多种类型数据的组成，需要使用多种技术对待它。比如说图像、视频、文档。每一个识别和监测它的手段和方法是不一样的。另外大数据更多的是理念优先，它在银行里到底能发挥什么价值？另外大数据我们会说它一个比较典型的特征，它的价值密度很低。那么反回来思考，把大量数据存下来再去做统计分析有意义和价值吗？还是通过实时处理的技术把没价值的东西筛掉，再利用有价值的做结构化的关联分析？这就是大数据给我们带来的思考。

银行思考大数据，更多的需要考虑你具备什么条件让客户产生的大数据自动的流向银行？银行获取大数据方式可能跟传统的物联网行业不太一样。银行对待大数据的时候更多的考虑是银行有什么类型的大数据？从银行统计应用角度来说有什么价值？我们是实施商，我们在大数据领域仍然保持跟我们的合作伙伴厂商的紧密接触。我们从去年和前年就开始跟我们合作紧密的像IBM、BMC、Oracle的大数据厂商进行紧密的沟通和跟进。我们看怎么更他们更好的结合去为银行提供更好的服务。但是我们发现每家厂商对大数据的解读其实是有差异的。比如说EMC的HAWQ技术路线适合银行吗？因为我们知道HDFS底层数据存储和关系数据的底层数据有本质的区别。但是它有它的应用场景，比如互联网和电商类。Teradata的大数据技术路线中重点突出基于MR的Aster，它可能也只是适合一定的场景。所以让我们看到一个特点是百花齐放，大家各有各的发展思路。在原有的基础上在怎么更好的绑定客户，每家策略不一样。但是银行一定要选择适合自己的。

银行大数据在典型应用场景分析有哪些呢，无非就是三种类型：外部互联网信息、舆情分析；是银行确实能够通过各种手段找到外部的一些信息，互联网的评价、社交媒体和论坛里面的发言，它关注到银行或者关注到了银行客户。这种信息是一种非严谨的获取方式，也是一种特别严谨的决策分析的补充。

银行自身非结构化数据信息：就是银行自身有大量非结构化信息体现在网银和呼叫中心的语音，这些信息是不是大规模的做分析？我建议的方式是尝试。因为传统结构化数据或者分析技术并没有让你在业务决策分析里面发挥到极至。我们一定要做更多的尝试，引导我们去体验大数据的场景。银行自身结构化数据历史归档和查询访问。这三个方面是我们跟银行探讨更多的，大数据在银行的应用场景。

大数据时代针对传统数据仓库的思考：首先不要因为大数据这个词扰乱了我们的的原则、规划和节奏。我们要一步步脚踏实地的跟进大数据的技术。

其次传统的数据仓库我昨天思考完写了四句话：

第一，技术和平台已经不是我们关注的重点。很多新客户型的时候他会犹豫，其实你有你的判断，你作为商务上你有你的所谓投资回报成本的考虑。但是技术上在传统结构化分析里面，它的差异性不是很大。那么做选型的时候是否能够处理传统的结构化数据？我相信还是一个重点，但是更大的重点应该放在如何更好的支撑应用和如何跟未来技术走向很好的结合。

第二：变化莫测的世界里做好架构管理才能以不变应万变的决策。所以我们更强调合理的原则和架构。这些年厂商提出来做数据仓库用10大原则、20大原则，原则越多越没用，原则少有效才能解决真正的问题。

第三，过去十年前做数仓，用一期项目整合300张表，现在可以整合1000张表，就是因为正确的方法论。一个好的方法论出来，关于开发管控和数据管控水平不断的提升，才能保证一家银行商业智能体系的发展。

第四个是引导客户主动分析和探索，只有通过这个才能改变传统业务人员分析思路和方法。

这四点是我们在新的数据平台里面，大数据时代新的数据仓库架构里面需要考虑的四个重点。

架构设计原则：做数据仓库架构设计过程中，我们更审慎的对待自身的原则，这六句话有它背后的道理，第一个是操作型和分析型处理分离原则。第二个就是做到数据集体程度、整合和共享原则。第三句话，尽量减少大量明晰数据搬迁和处理。第四个后台批量处理和前端联机访问分离原则。第五个是明晰数据使用审慎使用。这个原则很重要。我们在银行经常遇到很多问题，当业务部门提到一个需求说我要查明细，我们要审慎的对待，合理评估投入产出。最后一个就是做好统一技术平台。

关于数据仓库里面的四层架构：贴源的、主题整合、通用汇总、数据集市。哪个区域用什么策略我自己做十年了也没有任何调整。这就是好的架构。

自主开发体系：把数据仓库实施方法论能够很好的跟开发工具做结合。这种开发工具的结合，过去两年，我们实施十几个数据仓库平台里面发挥了很大的价值。客户对我们的评价：第一开发的东西可维护，第二质量相对较高，开发效率高。

另外永远不要把数据仓库建设和数据管控分开来谈。数据仓库依赖于数据管控，提升数据质量才能更好的服务于应用。这两个是不分割的，甚至它的业务牵头部门、主管部门都是一个。

引导业务人员上来主动访问，这种探索式的推动永远是你不要放弃的一个话题。它同前期推动来说很难，但是它后期给你银行整个分析水平的提升带来的价值非常大。

我们做数据仓库的，做数据管控的，我们不断给银行推要做随机查询。我们不断的强化这三个东西的重要性，但是这三个东西都是前期投入大，后期才能逐步慢慢见效发挥很大价值的地方。国内的工行，之所以它的数仓成为业界领先典范，就是因为它坚持走这三条路。

在座的新老客户，最后再跟大家说一下“我们做的工作都是前期投入产出比较不合适的，但是希望大家重视，希望大家从规划的角度解决好这三个概念的融合”。