低成本的高级数据分析项目

深度的数据分析项目通常花费不菲。不过&＃xff0c;如果善于创新&＃xff0c;CIO们能够以较小成本顺利完成项目。对此&＃xff0c;NielNickolaisen进行了说明。

目前&＃xff0c;IT领袖及其团队正面临巨大的机遇&＃xff0c;改变企业对自身的价值定位。IT团队有着现成的资源来实现巨大的业务价值&＃xff0c;而成本却可以非常低。对&＃xff0c;没听错&＃xff0c;非常低的成本。在进入正题之前&＃xff0c;首先声明&＃xff0c;我要谈的东西可能与直观感觉不符&＃xff0c;甚至违返企业传统文化。许多年来&＃xff0c;我们都被反复地告知&＃xff0c;如果想要交付高价值服务&＃xff0c;就不得不付出高昂成本。对&＃xff0c;高价值服务背后往往意味着较高的成本&＃xff0c;但这并非金科玉律。

下面&＃xff0c;我们进入正题。以较小成本实现高价值服务的场景之一&＃xff0c;就是高级数据分析项目。我之所以能做出这个结论&＃xff0c;是因为我有过类似经历&＃xff08;成本确实很低&＃xff09;。我曾经是某大学的CIO。当时&＃xff0c;该大学的管理团队有一个最为主要的工作目标&＃xff0c;即提升毕业率。不管在什么场合&＃xff0c;团队都会就此展开讨论。

在某次会议上&＃xff0c;我曾经这么表态过&＃xff1a;“如果能确保我认识所有的学生&＃xff0c;我能保证毕业率达到100%的水平。”当时&＃xff0c;所有与会者都很无语&＃xff0c;转而讨论课程设置、学生辅导和教学模式等方面的话题。会后&＃xff0c;我继续就毕业率的问题进行了思考。我们有一个录取模型&＃xff0c;由教育领域的专家开发&＃xff0c;用于决定我们接收学生的标准。

其中&＃xff0c;有三个因素是最重要的&＃xff1a;英语、写作和数据能力的测试分数。所有报考的学生都必须进行这三门考试&＃xff0c;而我们择优录取。为此&＃xff0c;我开始怀疑我们的数据是否真正支撑了这种录取模型。我们已经有大量与报名学生、正式入学的学生以及最终毕业的学生相关的数据。如果对这些数据进行分析&＃xff0c;进行形成对录取模型的优化&＃xff0c;将是极具吸引力的工作。

但是&＃xff0c;该如何启动项目呢&＃xff1f;我的团队中没有真正的数据科学家&＃xff0c;也没有支撑这项高级数据分析工作的工具和环境。不过&＃xff0c;最终结果证明&＃xff0c;其实我并不真正需要这些人力物力。至少&＃xff0c;在开始阶段不需要。我的做法是&＃xff0c;在一个数据挑战网站把问题和数据&＃xff08;进行了脱敏处理&＃xff0c;去掉了学生们的个人识别信息&＃xff09;公布出去&＃xff0c;让全世界的数据科学家、分析师和统计学家来为我构建新的录取模型。整个工作最终花费了两个礼拜的时间&＃xff0c;得到了一个超出我预期的更好的模型&＃xff08;以现有数据集来看&＃xff09;。我选定了得到最佳模型的优胜者&＃xff0c;并发布了奖励3500美元&＃xff08;不是3万5千美元&＃xff0c;也不是35万美元&＃xff0c;更不是350万美元&＃xff09;。

如果这个模型最终被证明为失败&＃xff0c;我的损失就是3500美元而已&＃xff0c;就我当时所掌控的预算来说&＃xff0c;这点钱不是问题。那么&＃xff0c;这个新模型的实际价值如何呢&＃xff1f;新模型揭示了现有人为定制模型的问题所在。根据数据分析的结果&＃xff0c;我们之前认为的最重要的因素&＃xff0c;其实在重要性上仅排名第六而已&＃xff0c;而之前第二重要的因素实际应该在第九位。我们进一步了解到&＃xff0c;其实很多待录取的学生没有必要进行英文、写作和数据能力测试——如果这些学生在真正重要的指标上合格了&＃xff0c;他们根本没必要进行测试。就这样&＃xff0c;仅仅花了3500美元&＃xff0c;我们就改变了学校运营的模式&＃xff0c;并进入了以数据推动决策的阶段。

我们更新了学校的宣传和录取策略&＃xff08;现在&＃xff0c;我们已经知道哪些学生能够顺利毕业&＃xff0c;就没有必要在其他人身上多费力气了&＃xff09;。基于促成学生成功的真正因素&＃xff0c;我们开始在相关领域开始发力。比如&＃xff0c;之前缺少科学、技术、工程或数据方面作业的学生不予录取。这也意味着&＃xff0c;在这些方面较弱的学生需要我们的特别关注和协助&＃xff0c;以此提升其成功毕业的机率。

在这个项目之后&＃xff0c;我们启动了一个有关学生辅导模型的数据分析项目。该项目意在识别出那些面临困境的学生&＃xff0c;而我们则可以根据分析结果将更多的资源投入到这些学生身上&＃xff0c;以此帮助其获得学业上的成功。这一切成绩的背后&＃xff0c;起到主导作用的就是IT团队。数据分析项目&＃xff1a;如何启动如果你对此感兴趣&＃xff0c;下面就介绍该如何启动一个数据分析项目。

首先&＃xff0c;定位一些长期困扰企业的、较为含混不清的问题&＃xff0c;比如用户流失、需求预测、精准营销等等。然后&＃xff0c;审视下手头现有的、与这些问题相关的数据。是否拥有所需的数据&＃xff1f;这些数据的存在形式&＃xff1f;还缺少哪些数据&＃xff0c;以及该如何解决&＃xff1f;之后的事情&＃xff0c;就是找到模型开发团队。比如&＃xff0c;数据竞赛网站、寻找学生项目的本地大学、具备相应能力的本地大数据/数据科学家用户组。

有件事需要特别注意&＃xff1a;在大学里推动高级数据分析项目时&＃xff0c;我们从不在任何大数据基础架构或环境上进行过多的投入。比如&＃xff0c;对于上面提到的识别处于困境的学生的模型&＃xff0c;由于只需要每两周运行一次&＃xff0c;我们是通过云租用的模式获取计算资源的。每个月&＃xff0c;我们支付3000美元来让模型跑一次&＃xff0c;对覆盖约5万学生的2000个数据元素进行计算。退一万步说&＃xff0c;即便模型所产生的价值很低&＃xff0c;这种成本也是极为低廉的。就我们的这个模型来说&＃xff0c;这简直太划算了–把学生退学率降低了10%&＃xff0c;节省了数百万美元的成本。这一切&＃xff0c;你也可以做到。