Hadoop精华问答|Hadoop和Spark有什么区别？

我们很荣幸能够见证Hadoop十年从无到有&＃xff0c;再到称王。感动于技术的日新月异时&＃xff0c;希望通过今天的有问有答深入解读Hadoop的昨天、今天和明天&＃xff0c;憧憬下一个十年。

1

Q&＃xff1a;Hadoop是什么&＃xff1f;

A&＃xff1a;Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构&＃xff0c;它可以使用户在不了解分布式底层细节的情況下开发分布式程序&＃xff0c;充分利用集群的威力进行高速运算和存储。

从其定义就可以发现&＃xff0c;它解決了两大问题&＃xff1a;大数据存储、大数据分析。也就是 Hadoop 的两大核心&＃xff1a;HDFS 和 MapReduce。

1. HDFS(Hadoop Distributed File System)是可扩展、容错、高性能的分布式文件系统&＃xff0c;异步复制&＃xff0c;一次写入多次读取&＃xff0c;主要负责存储。

2. MapReduce 为分布式计算框架&＃xff0c;包含map(映射)和 reduce(归约)过程&＃xff0c;负责在 HDFS 上进行计算。

我们先来了解下 Hadoop 的发展历史&＃xff0c;如图 1-1 所示。

2

Q&＃xff1a; Hadoop 有哪些优点呢&＃xff1f;

A&＃xff1a;Hadoop 是一个能够让用户轻松架构和使用的分布式计算的平台。用户可以轻松地在 Hadoop 发和运行处理海量数据的应用程序。其优点主要有以下几个&＃xff1a;

(1) 高可靠性 &＃xff1a; Hadoop 按位存储和处理数据的能力值得人们信赖。

(2) 高扩展性 &＃xff1a; Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的&＃xff0c;这些集簇可以方便地扩展到数以干计的节点中。

(3) 高效性 &＃xff1a; Hadoop能够在节点之间动态地移动数据&＃xff0c;并保证各个节点的动态平衡&＃xff0c;因此处理速度非常快。

(4) 高容错性 &＃xff1a; Hadoop能够自动保存数据的多个副本&＃xff0c;并且能够自动将失败的任务重新分。

(5) 低成本 &＃xff1a; 与一体机、商用数据仓库以及 QlikView、 Yonghong Z- Suites 等数据集市相比&＃xff0c;Hadoop 是开源的&＃xff0c;项目的软件成本因此会大大降低。

Hadoop 带有用 Java 语言编写的框架&＃xff0c;因此运行在 linux 生产平台上是非常理想的&＃xff0c; Hadoop 上的应用程序也可以使用其他语言编写&＃xff0c;比如 C&＃43;&＃43;。

3

Q&＃xff1a;Hadoop解决哪些问题&＃xff1f;

A&＃xff1a;海量数据需要及时分析和处理

• 海量数据需要深入分析和挖掘

• 数据需要长期保存

海量数据存储的问题&＃xff1a;

• 磁盘IO称为一种瓶颈&＃xff0c;而非CPU资源

• 网络带宽是一种稀缺资源

• 硬件故障成为影响稳定的一大因素

4

Q&＃xff1a;Hadoop 和Spark有什么区别&＃xff1f;

A&＃xff1a;Hadoop 和Spark 两者都是大数据框架&＃xff0c;但解决问题的层面有所不同。Hadoop更多是一个分布式数据基础设施&＃xff0c;将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储&＃xff0c;节省了硬件成本 &＃xff0c;而Spark&＃xff0c;则是那么一个专门用来对那些分布式存储的大数据进行处理的工具&＃xff0c;依赖于分布式数据存储。

其次&＃xff0c; Spark要比Hadoop的MapReduce计算速度快很多。Spark&＃xff0c;它会在内存中以接近“实时”的时间完成所有的数据分析&＃xff0c;从集群中读取数据&＃xff0c;完成所有必须的分析处理&＃xff0c;将结果写回集群。对于动态数据实时分析而言&＃xff0c;Spark要比Hadoop性能较为优越。 

5

Q&＃xff1a;Hadoop在大数据中的作用是什么&＃xff1f;

A&＃xff1a;Hadoop大数据处理的相关产品有很多&＃xff0c;如Hive、HBase、Spark、Storm、Mahout等等&＃xff0c;用户的需求也能够日益得到满足。相比于使用场景已基本固化的关系型数据库&＃xff0c;Hadoop功能更加灵活。并且Hadoop是开源项目&＃xff0c;有开源社区和大多技术者的支持&＃xff0c;开发维护也较为方便。在Hive中&＃xff0c;关系型数据主要基于SQL语言&＃xff0c;并且Hadoop有SQL型&＃xff0c;同时也可以用Java、Python等进行开发。

小伙伴们冲鸭&＃xff0c;后台留言区等着你&＃xff01;

关于Hadoop&＃xff0c;今天你学到了什么&＃xff1f;还有哪些不懂的&＃xff1f;除此还对哪些话题感兴趣&＃xff1f;快来留言区打卡啦&＃xff01;留言方式&＃xff1a;打开第XX天&＃xff0c;答&＃xff1a;……

同时欢迎大家搜集更多问题&＃xff0c;投稿给我们&＃xff01;风里雨里留言区里等你~

福利

1、扫描添加小编微信&＃xff0c;备注“姓名&＃43;公司职位”&＃xff0c;加入【云计算学习交流群】&＃xff0c;和志同道合的朋友们共同打卡学习&＃xff01;

2、公众号后台回复&＃xff1a;白皮书&＃xff0c;获取IDC最新数据白皮书整理资料&＃xff01;

推荐阅读&＃xff1a;

• 全面剖析企业私有云

• 30 秒&＃xff1f;&＃xff01;Chrome 插件带你速成编程学习 | 程序员硬核评测

• 为什么程序员下班后只关显示器从不关电脑&＃xff1f;

• 算法警告&＃xff01;该图片涉嫌违规不予显示

• 交易机器人春天已来&＃xff1f;先看完这篇再说吧

• 2019年中国IT市场趋势热点

• 2019年最值得关注的五大微服务发展趋势