建模杂谈系列7数据处理标准流程

数据处理尚未有统一的标准流程&＃xff0c;这里只是提出一种实现可能。

1 批处理与单条处理

无论是数据分析或者建模&＃xff0c;首先是要累积一定的数据&＃xff0c;不然没有统计性。所以自然而然地&＃xff0c;分析模式下我们习惯了进行批处理。而在开始应用的时候通常是单条过来的&＃xff0c;并且要经过一系列变换才能使用。

• 1 以表数据为例&＃xff0c;数据维度为2&＃xff0c; 批处理的矩阵形状类似(3,3),而单条数据形状可以reshape成&＃xff08;1&＃xff0c;3&＃xff09;&＃xff0c;这样数据的形状就统一了。
• 2 单条处理有时候对于服务器性价不高&＃xff0c;如果使用消息服务的话可以想办法按某个批次&＃xff08;100&＃xff09;来取数和处理。
• 3 如果是建模&＃xff0c;做变换的同时要考虑反变换&＃xff0c;特别是未见值

2 标准处理流程

从原始数据&＃xff08;表数据&＃xff09;开始&＃xff0c;处理流程如下&＃xff1a;

2.1 数据规整

进行元数据分析&＃xff0c;生成基础数据报告。

对数据的基础信息进行描述&＃xff0c;并对数据质量进行检查。

基础数据报告&＃xff1a; &＃xff08;与发送者&＃xff09;确认接收到的数据&＃xff0c;对一些基础性的质量、特征进行描述&＃xff0c;目的是提醒&＃xff08;发送者与分析者&＃xff09;可能存在的基本面问题。

2.2 数据塑形

就表数据而言&＃xff0c;只有宽表和长表。宽表又叫主表&＃xff0c;长表又叫日志表。

根据规整形成的报告&＃xff0c;进行相应的提取。这步主要进行表分析&＃xff0c;规则分析和可视化&＃xff0c;最终的结果形成数据分析报告&＃xff0c; 数据分析表。

数据分析报告&＃xff1a;假设数据处于可用的状态&＃xff0c;进行的对应提取&＃xff0c;并形成诸多统计报告。目的是为了业务人员了解&＃xff0c;确认&＃xff0c;并可以使用简单的统计信息。也为了提醒分析者数据的基本状况&＃xff0c;可用性。

数据分析表&＃xff1a;宽表和长表。数据分析报告的源头&＃xff0c;下一步分析/建模的基础。

2.3 数据衍生

数据衍生有两种方式和三个角度。
方式一&＃xff0c;基于规则的变量衍生。
方式二&＃xff0c;基于算法的变量衍生。

角度一&＃xff0c;基于时间模式进行衍生&＃xff0c;例如RFM。
角度二&＃xff0c;基于高维模式进行衍生&＃xff0c;例如多项式衍生。
角度三&＃xff0c;基于网络模式进行衍生&＃xff0c;例如PageRank。

这步的结果形成衍生变量分析报告&＃xff0c;衍生方法 。

衍生变量分析报告&＃xff1a;生成了多少衍生变量&＃xff0c;其特性和相互之间的关系如何。
衍生方法 &＃xff1a;每一个衍生变量是如何生成的。

2.4 模式识别

对应于数据衍生的方式&＃xff0c;同样有三种方式进行模式识别。

• 时间模式&＃xff0c;高维模式和网络模式。

• 模式是一种状态(State), 这种状态是具有一定惯性的&＃xff0c;直到有外力迫使它改变为止。

• 模式识别优先级高于模型量化。

• 模式可分为Nominal, Ordinal。

• 假定模式都是离散状态的。

• 针对模式&＃xff08;模式组合、模式趋势&＃xff09;可以采取不同的策略

这步的结果是模式分析报告 &＃xff0c; 模式策略建议&＃xff0c; 模式判别模型
模式分析报告 &＃xff1a;分别具有哪些模式&＃xff0c;这些模式的特征在哪里。
模式策略建议&＃xff1a;针对不同的模式&＃xff0c;给出哪些策略建议。
模式判别模型&＃xff1a;不同模式的判别方法。

2.5 模型

对应于数据衍生的方式&＃xff0c;同样有三类模型。模型与模式的差别在于&＃xff0c;一个是视锥细胞&＃xff0c;一个是视杆细胞&＃xff1b;一个看细节&＃xff0c;一个看轮廓。
模型思路有两种&＃xff0c;主观模型&＃xff08;贝叶斯派&＃xff09;和客观模型&＃xff08;频率学派&＃xff09;。
模型手段有两种&＃xff0c;模拟方法和解析方法。

• 时间模型&＃xff0c;高维模型和网络模型。
• 模型采用复合方法&＃xff1a;先建立基准模型&＃xff0c;再建立组合优化模型
• 解释与非解释&＃xff1a;先建立解释模式&＃xff0c;后建立非解释模型。
• 模型的自检&＃xff1a;模型会自查假设前提&＃xff0c;以及结果偏移。
• 模型允许最细微的调整

这步的结果是模型分析报告&＃xff0c; 模型稳定性报告&＃xff0c; 模型性能报告&＃xff0c;模型公式
模型分析报告&＃xff1a;模型的全过程说明&＃xff0c;以及产生的业务性结果。
模型稳定性报告&＃xff1a;各个阶段模型的稳定性情况&＃xff08;输入&＃xff0c;输出&＃xff0c;时间和资源&＃xff09;
模型性能报告&＃xff1a;在各个方面模型的统计表现&＃xff08;错杀&＃xff0c;误放&＃xff09;
模型公式&＃xff1a;模型的判别细节

3 标准处理细节

以下仅罗列一部分

• 1 变量名分析
• 2 变量名映射
• 3 缺失分析
• 4 离散化
• 5 哑变量分析
• 6 不均衡分析
• 7 变化分析&＃xff08;趋势&＃xff09;
• 8 状态分析&＃xff08;比例&＃xff09;
• 9 宽表塑形
• 10 长表塑形
• 11 RFM衍生
• 12 规则衍生&＃xff08;多项式 X &＃43;)
• 13 趋势编码
• 14 网络衍生
• 15 时间分段&＃xff08;非均匀切分&＃xff09;
• 16 时间模式识别
• 17网络分割
• 18 网络模式识别
• 19 表分割
• 20 表模式
• 21 基准模型&＃xff08;解释模型&＃xff09;
• 22 高阶模型&＃xff08;非解释模型&＃xff09;
• 23 复合模型&＃xff08;组合优化模型&＃xff09;