通俗理解大数据及其应用价值

​大数据计算流程示意图

在大数据中非常重要起点就是对于数据的采集，一般大数据主流程不会直接从用户端的请求服务中进行计算，我们将这个领域定位为OLTP，也就是由传统数据库或支撑海量数据写入的NoSQL来完成，然后我们通过采集工具从RDBMS、文件或NoSQL中进行采集同步，例如上图中：利用CDC(数据变更捕获)，我们可以从PostgreSQL的逻辑复制中捕获WAL(预写日志文件)的数据变更，然后将变更数据发送到大数据平台，也可以从文件中采集获取，常见的采集工具有ELK的Filebeat、Logstash采集文件，Flume作为多源采集管道并集成HDFS，Canal采集MySQL Binlog，Flink CDC采集PostgresSQL WAL等。

数据流处理主要应用在数据传输实时性比较高的场景，我们常见的Flink、Storm、Spark Streaming都是为此场景而产生，在上图中我们可以看到流处理管道，起到了数据传输过程中非常重要的数据转换和数据写入作用，它们还能在流传输的过程中进行流库连接、流流连接进行二次加工，生成新的数据流，并在流转的过程中进行实时数据采样、过滤、转换、封装、清洗等多种实时处理操作。

数据流在中转过程中往往需要缓冲进队列，这在大数据的实时流处理中非常重要，例如：Kafka、RocketMQ，它们不仅形成了数据在上下游计算流转过程中的数据持久化所带来的数据可靠性，而且还能形成一对多的发布与订阅的扇形数据流转结构，这样就可以一个数据为多个计算服务所用，如上图中变更队列一方面可以由搜索管道来订阅，数据就流向了数据搜索引擎，另一方面可以由分析管道来订阅，数据流就流向了OLAP平台，另外队列保持了发生情况的前后一致性，那么我们存储的过程中就能轻松解决数据的时间线或事务问题。

大数据存储需要根据数据所适用的场景进行多种情况的构建，如上图中我们可以看到，若应用于搜索场景，那么最好的存储就是搜索引擎，例如：Elasticsearch、Solr，这些数据库都是典型的文档型数据库，基于文档树的结构存储，并对文档进行全文索引；若应用于OLAP场景，我们可以从图中看到使用到了HBase分布式KV数据库，它是完全遵循Google BigTable论文「PDF」的开源实现，基于列簇格式存储，行键排序，形成一个非常宽大的稀疏表，非常适合做在线统计处理和离线数据挖掘。

例如：我们前面提到的微博问题，对于HBase来说，一个行键、两个列簇、千万级稀疏列，明星(行键)、粉丝集合（列簇）、粉丝（列）或者明星（行键）、发布集合（列簇）、发布微博（列），我们总能快速的通过明星ID，扫描他的粉丝集合，获取千万粉丝进行推送，粉丝也能通过明星ID，定位到他的微博发布集合，快速找到最新发布的微博。这仅仅是面向高并发的实时聚合查询的一个案例。

上图中我们可以通过HBase完全承载PostgreSQL的结构化数据，还能通过数据管道结构化文件数据，在HBase列簇中形成统一的数据结构，上图的目的是从PostgreSQL中采集到车辆数据，文件中采集到车辆运行中的坐标数据，那么HBase中就能以车辆数据为行键，坐标数据为列簇与列，可以进一步分析不同时间点不同路段的拥堵情况。

同时我们从上图中可以看到HBase只是分布式的数据库引擎，真正数据落盘在了Hadoop HDFS，它是分布式文件系统，基于Google GFS 论文「PDF」的开源实现，提供了数据块的高可靠存储。

数据分析过程主要是分布式数据库海量数据的批量数据挖掘，我们往往需要一些支持MPP（大规模并行处理）的分布式计算框架来解决，例如：Spark、MapReduce、Tez、Hive、Presto等。这些处理引擎主要是以集群化的分布式并行计算将数据切分成多任务来解决，这样再超大规模的数据集合都可以被更多的计算节点切分而快速完成。

那么基于Spark的这样的大数据技术栈进行预测分析，就有了Spark MLlib这样的机器学习模型库，例如：我们要通过对一组海量进行一项顾客风险评测训练，预测某一位顾客购买某项保险项未来出现赔付的概率，那么就能通过MLlib的DecisionTree(决策树)算法，不断调整训练参数，去熵提纯集合，找到最佳的预测模型。

作为大数据的应用与价值非常广泛，我们上面只是大数据整个生态体系的冰山一角，比如说：通过对广告投放数据的采集并写入时序数据库(TSDB)，我们可以非常快速地在每秒百亿次的点击中，分析出每分钟每个投放网站的收益，投放平台为每个广告顾客创造的投放次数、展示次数、广告浏览时长等；

再比如说：我们通过日志数据跟踪，能将上千台服务器的日志进行分布式Track，那么我就能实时分析出一笔业务需要经历多少台服务器，经历了多少服务转发，在哪些服务上出现了延时，从而达到快速运维感知，尤其是面向公共事业、互联网电商、互联网金融无法容忍分钟级的故障导致的系统不可用，实时运维感知的作用就是刚性需求。

谈到信用卡机构、银行、保险行业，最重要的一项分析就是对顾客群体的预测分析，这在防欺诈、信用评级、贷款方面可以说大数据应用起到了无可替代的作用，我们需要通过数据挖掘、机器学习，将碎片化的不同数据集合，进行搜集、清洗、完善，建立数据分析算法模型，不断通过对海量数据的分析，参数优化，从数据中发现隐藏的关系，预测个体行为概率。