大数据学习笔记——hadoop生态圈

《Google BigTable》：论述了怎样实现海量数据的快速查询；

大数据技术本质上无非解决4个核心问题。
1、存储，海量的数据怎样有效的存储？主要包括hdfs、Kafka；
2、计算，海量的数据怎样快速计算？主要包括MapReduce、Spark、Flink等；
3、查询，海量数据怎样快速查询？主要为Nosql和Olap，Nosql主要包括Hbase、 Cassandra 等，其中olap包括kylin、impla等，
其中Nosql主要解决随机查询，Olap技术主要解决关联查询；

4、挖掘，海量数据怎样挖掘出隐藏的知识？也就是当前火热的机器学习和深度学习等技术，包括TensorFlow、caffe、mahout等；

从生态圈角度展示图：

从架构角度展示图：