什么是大数据&＃xff1f;

 

 基 本 概 念&＃xff1a;

                                                                                    《数 据 处 理》

    在互联网技术发展到现今阶段&＃xff0c;大量日常、工作等事务产生的数据都已经信息化&＃xff0c;人类产生的数据量相比以前有了爆炸式的增长&＃xff0c;以前的传统的数据处理技术已经无法胜任&＃xff0c;需求催生技术&＃xff0c;一套用来处理海量数据的软件工具应运而生&＃xff0c;这就是大数据&＃xff01;

处理海量数据的核心技术&＃xff1a;

海量数据存储&＃xff1a;分布式

海量数据运算&＃xff1a;分布式

这些核心技术的实现是不需要用户从零开始造轮子的

存储和运算&＃xff0c;都已经有大量的成熟的框架来用

存储框架&＃xff1a;

HDFS——分布式文件存储系统&＃xff08;HADOOP中的存储框架&＃xff09;

HBASE——分布式数据库系统

KAFKA——分布式消息缓存系统(实时流式数据处理场景中应用广泛)

运算框架&＃xff1a;&＃xff08;要解决的核心问题就是帮用户将处理逻辑在很多机器上并行&＃xff09;

MAPREDUCE—— 离线批处理/HADOOP中的运算框架

SPARK —— 离线批处理/实时流式计算

STORM —— 实时流式计算

辅助类的工具&＃xff08;解放大数据工程师的一些繁琐工作&＃xff09;&＃xff1a;

    HIVE —— 数据仓库工具&＃xff1a;可以接收sql&＃xff0c;翻译成mapreduce或者spark程序运行

   FLUME——数据采集

   SQOOP——数据迁移

   ELASTIC SEARCH —— 分布式的搜索引擎

.......

换个角度说&＃xff0c;大数据是&＃xff1a;

1. 有海量的数据
2. 有对海量数据进行挖掘的需求
3. 有对海量数据进行挖掘的软件工具&＃xff08;hadoop、spark、storm、flink、tez、impala......&＃xff09;

大数据在现实生活中的具体应用

数据处理的最典型应用&＃xff1a;公司的产品运营情况分析

电商推荐系统&＃xff1a;基于海量的浏览行为、购物行为数据&＃xff0c;进行大量的算法模型的运算&＃xff0c;得出各类推荐结论&＃xff0c;以供电商网站页面来为用户进行商品推荐

精准广告推送系统&＃xff1a;基于海量的互联网用户的各类数据&＃xff0c;统计分析&＃xff0c;进行用户画像&＃xff08;得到用户的各种属性标签&＃xff09;&＃xff0c;然后可以为广告主进行有针对性的精准的广告投放