hadoopspark第一次接触

1. 第一次接触

Hadoop总结篇及面试常考点&＃xff1a;https://blog.csdn.net/yu0_zhang0/article/details/81001421
阿里巴巴飞天大数据架构体系与Hadoop生态系统&＃xff1a;
https://zhuanlan.zhihu.com/p/82258807
hadoop HDFS常用文件操作命令&＃xff1a;
https://segmentfault.com/a/1190000002672666
Spark快速入门&＃xff08;使用Python&＃xff09;&＃xff1a;
https://zhuanlan.zhihu.com/p/97413611
Apache Spark Examples:
https://spark.apache.org/examples.html

总结

1. 就是一个文件系统&＃xff0c;可以存大量数据的文件系统&＃xff0c;在数据量比较大的时候&＃xff0c;提供一套工具来对数据进行计算的系统。
2. 文件系统叫hdfs&＃xff0c;计算系统叫MapReduce&＃xff0c; 后面还加了一个Yarn做资源管理。后面还在上面生长了许许多多的小工具。
3. 对&＃xff0c;发现还有一套MapReduce的东西&＃xff0c;然后又看了下Spark&＃xff0c;也是用来计算的&＃xff0c;所以他们有啥区别呢&＃xff1f;
   MapReduce和Spark的区别是什么&＃xff1f;&＃xff1a;https://www.zhihu.com/question/53354580
   
4. spark具体能干啥&＃xff1a;1.能操作本地文件&＃xff0c;能统计&＃xff0c;能操作数据库&＃xff0c;能用sql查询结果&＃xff0c;所以感觉就是一个平台&＃xff0c;让我们能在遇到大数据的情况下&＃xff0c;按照普通数据的方式&＃xff0c;提供一个接口&＃xff0c;去访问大数据和对大数据进行计算。具体例子&＃xff1a;
   Spark快速入门&＃xff08;使用Python&＃xff09;&＃xff1a;https://zhuanlan.zhihu.com/p/97413611