热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何建立落地型数据分析(挖掘)流程?

数据工作者最长也是有效的一种工作方式是带项目,无论是数据分析还是专项挖掘,项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的数

数据工作者最长也是有效的一种工作方式是带项目,无论是数据分析还是专项挖掘,项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的数据分析(挖掘)流程?

在做本篇介绍之前,有以下几个方向需要做一个界定,这些界定是做本篇的前提:

该项目流程是面向业务层的,直接通过模型做代码优化或者以BI技术为方向的不同;

该项目的领导者是具有一定能力的数据分析师,需要具备业务常识、数据理解能力和专项分析挖掘能力,说白了,能接受问题并且能解决问题;

该项目是以业务落地为导向的,那些面向市场分析方向的战略项目等不在此列。

在以上的界定下,我们放心的来谈本篇的核心,我相信大多数一线的数据分析师都能适用这套流程。完整的数据分析(挖掘)流程包括:需求提报审核、商业理解、数据理解、专项分析(建模)、部署与实施优化、项目总结六大部分。

一、需求提报

任何数据分析的起点都是从业务需求开始的。在收到业务需求后,首先要做的还不是业务够通,是考量这个需求是否可以受理。导致需求不能受理的原因包括业务需求本身是个伪命题以及目前的数据无法支撑该需求的分析。

目的:第一步需求提报的审核目的是找到最佳需求命题,并确定该命题的可行性。

输出物料:无

周期:1天内响应

二、商业理解

商业理解包括业务语言转化成数据语言的整个过程,目的是确定业务通过数据需要实现的具体纬度,粒度,数据范围等,通过方案思路进行二次确认。确认思路后,会正式开始项目的数据部分工作。

目的:确认业务逻辑、数据分析需求、数据产出内容方向及分析思路。

输出物料:分析思维导图、测试数据

周期:2天

三、数据准备

数据准备是对即将进行的分析和挖掘工作进行预处理,包括从数据仓库中取数,验证数据质量,数据特征提取,异常值处理,数据转换,合并等,为最终的数据分析挖掘做准备。这个阶段是非常费时但是重要的工作,前期这个工作做不好会直接影响数据质量。

目的:数据前期清洗。

输出物料:数据

周期:4天

四、专项分析(建模)

经过需求确认,数据清洗之后,开始了专项数据分析和挖掘工作,包括常用的描述性数据统计、数据分类、聚类、管理、序列、规则提取等建模工作,并在专项分析或建模结束后完成模型测试工作,保持模型的稳定性和最佳拟合度。

目的:报告撰写、模型搭建。

输出物料:分析报告、建模流程和节点、模型评估报告等

周期:7天

五、部署与实施优化

数据工作者最长也是有效的一种工作方式是带项目,无论是数据分析还是专项挖掘,项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的数据分析(挖掘)流程?

在做本篇介绍之前,有以下几个方向需要做一个界定,这些界定是做本篇的前提:

该项目流程是面向业务层的,直接通过模型做代码优化或者以BI技术为方向的不同;

该项目的领导者是具有一定能力的数据分析师,需要具备业务常识、数据理解能力和专项分析挖掘能力,说白了,能接受问题并且能解决问题;

该项目是以业务落地为导向的,那些面向市场分析方向的战略项目等不在此列。

在以上的界定下,我们放心的来谈本篇的核心,我相信大多数一线的数据分析师都能适用这套流程。完整的数据分析(挖掘)流程包括:需求提报审核、商业理解、数据理解、专项分析(建模)、部署与实施优化、项目总结六大部分。

本阶段包括数据结果输出,方式可能是邮件、会议类(通常是二者配合),在业务报告沟通中确认落地执行计划,并安排排期和计划方案,同时数据分析师进行数据收集,等业务执行完毕后进行效果再评估,并根据评估结果优化前期报告或模型结果。

目的:数据落地。

输出物料:业务执行计划、落地排期、数据落地收集计划等

周期:14天(根据所需数据量和业务时间需求而定)

六、项目总结

在整个项目结束后,进行整体总结,反思本项目整个过程,包括前期需求沟通与确认是否清晰,中期数据处理、分析和挖掘如何优化,后期数据落地效果和建议等,对整个项目有新的认知,最终为下一次项目积累经验。如果有必要,可以跟业务一起沟通讨论本次项目的优劣得失。另外,不是所有的有效项目都是以成功结束,失败的项目也可以为我们带来启发,最起码能说明业务的逻辑或出发点不可行。

目的:经验总结

输出物料:项目总结报告

周期:1天

只会做挖掘、只会写报告的数据分析师只能算一半,另一半就是如何把我们的思想、建议融入业务中,真正让他们理解并付诸实践。这才是数据分析师存在的真正价值。

 

推荐阅读
  • egg实现登录鉴权(七):权限管理
    权限管理包含三部分:访问页面的权限,操作功能的权限和获取数据权限。页面权限:登录用户所属角色的可访问页面的权限功能权限:登录用户所属角色的可访问页面的操作权限数据权限:登录用户所属 ... [详细]
  • 本文介绍了用户界面(User Interface, UI)的基本概念,以及在iOS应用程序中UIView及其子类的重要性和使用方式。文章详细探讨了UIView如何作为用户交互的核心组件,以及它与其他UI控件和业务逻辑的关系。 ... [详细]
  • 本文由chszs撰写,详细介绍了Apache Mina框架的核心开发流程及自定义协议处理方法。文章涵盖从创建IoService实例到协议编解码的具体步骤,适合希望深入了解Mina框架应用的开发者。 ... [详细]
  • 本题提供了一个区间数组 intervals,其中每个区间 intervals[i] 包含两个整数 [starti, endi],并且所有 starti 值各不相同。任务是找到每个区间的右侧区间,即存在一个区间 j 满足 startj >= endi 并且 startj 是尽可能小的。返回一个数组,该数组包含每个区间右侧区间的索引;如果没有合适的右侧区间,则返回 -1。 ... [详细]
  • 本文介绍了使用Python和C语言编写程序来计算一个给定数值的平方根的方法。通过迭代算法,我们能够精确地得到所需的结果。 ... [详细]
  • C/C++ 应用程序的安装与卸载解决方案
    本文介绍了如何使用Inno Setup来创建C/C++应用程序的安装程序,包括自动检测并安装所需的运行库,确保应用能够顺利安装和卸载。 ... [详细]
  • 本文提供了一个关于AC自动机(Aho-Corasick Algorithm)的详细解析与实现方法,特别针对P3796题目进行了深入探讨。文章不仅涵盖了AC自动机的基本概念,还重点讲解了如何通过构建失败指针(fail pointer)来提高字符串匹配效率。 ... [详细]
  • 10月19日,限量免费参与IBM云计算大会
    10月19日,限量免费报名参加IBM云计算大会,探索前沿科技,推动商业转型。 ... [详细]
  • 本报告记录了嵌入式软件设计课程中的第二次实验,主要探讨了使用KEIL V5开发环境和ST固件库进行GPIO控制及按键响应编程的方法。通过实际操作,加深了对嵌入式系统硬件接口编程的理解。 ... [详细]
  • 本文分享了作者在使用LaTeX过程中的几点心得,涵盖了从文档编辑、代码高亮、图形绘制到3D模型展示等多个方面的内容。适合希望深入了解LaTeX高级功能的用户。 ... [详细]
  • LeetCode 102 - 二叉树层次遍历详解
    本文详细解析了LeetCode第102题——二叉树的层次遍历问题,提供了C++语言的实现代码,并对算法的核心思想和具体步骤进行了深入讲解。 ... [详细]
  • 本文将详细介绍Fuel CMS如何基于CodeIgniter框架构建,包括其单入口模式的实现方式及关键配置文件的作用。通过分析本地环境中的index.php和.htaccess文件,我们将更好地理解Fuel CMS的核心架构。 ... [详细]
  • 本文提供了一个详尽的前端开发资源列表,涵盖了从基础入门到高级应用的各个方面,包括HTML5、CSS3、JavaScript框架及库、移动开发、API接口、工具与插件等。 ... [详细]
  • JavaScript 中引号的多层嵌套使用技巧
    本文详细介绍了在 JavaScript 编程中如何处理引号的多级嵌套问题,包括双引号、单引号以及转义字符的正确使用方法。 ... [详细]
  • 随着越来越多的年轻人投身创业浪潮,追求事业上的突破与成功,了解并掌握创业的关键要素显得尤为重要。本文基于丰富的创业经验和深入的市场洞察,为有志于创业的读者提供了一系列实用建议和策略。 ... [详细]
author-avatar
许祥生老师
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有