hive和hadoop的浅显理解

hadoop是一个分布式存储系统&＃xff0c;他可以将我们的日志、数据等存储到不同的节点上&＃xff08;当数据十分大的时候&＃xff09;&＃xff0c;有时候一份数据会被存储到不同机器的不同磁盘上面。

那么问题来了&＃xff1a;
我们想取出这么一整份数据并做对应计算怎么办呢&＃xff1f;
这个时候&＃xff0c;mapreduce就应运而生。它是一个依托于hadoop上的计算引擎&＃xff0c;主要就是对数据进行合并汇总等操作&＃xff0c;本身并不存储数据。
那hive是什么呢&＃xff1f;
hive是基于hadoop的一个数据仓库工具。由于mapreduce程序比较复杂&＃xff0c;故而hive对他做了一层封装。它可以将我们写的hql翻译成mapreduce去计算数据。说白了&＃xff0c;它就是一个搞翻译的。

但是由于mapreduce每次都是对磁盘进行操作&＃xff0c;每次中间job操作的输出结果&＃xff0c;都是先存到磁盘里面的&＃xff0c;这样再去读取中间job的数据再进行操作的时候&＃xff0c;速度就很慢。
这个时候 spark计算引擎就可以解决这个问题&＃xff0c;spark每次中间job的操作结果&＃xff0c;都是存入内存&＃xff0c;之后的读取也是直接从内存读出&＃xff0c;大大的提高了数据计算的速度&＃xff0c;也因为如此 spark的计算成本要比mapreduce贵&＃xff08;一个用内存过渡&＃xff0c;一个用磁盘过渡&＃xff09;。当然spark并不止依托于分布式存储系统上面。

mapreduce和spark的共同点之一&＃xff1a;他们均不存储数据&＃xff0c;只对数据进行操作&＃xff08;计算&＃xff09;
浅显理解&＃xff0c;本文完毕。