2020Java面试大数据常见面试题+参考答案总结

技术面试题

1.Hadoop中有哪些组件&＃xff1f;

Hadoop&＃061;HDFS&＃043;Yarn&＃043;MapReduce&＃043;Hive&＃043;Hbase&＃043;…

1).HDFS:分布式文件存储系统

• 主&＃xff1a;namenode,secondarynamenode


• 从&＃xff1a;datanode

2).Yarn:分布式资源管理系统&＃xff0c;用于同一管理集群中的资源&＃xff08;内存等&＃xff09;

• 主&＃xff1a;ResourceManager


• 从&＃xff1a;NodeManager

3).MapReduce:Hadoop的计算框架&＃xff0c;用map和reduce方式实现数据的全局汇总

4).Zookeeper&＃xff1a;分布式协调服务&＃xff0c;用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等

• 主&＃xff1a;QuorumPeerMain


• 从&＃xff1a;QuorumPeerMain

5).Hbase:Hadoop下的分布式数据库&＃xff0c;类似于NoSQL

• 主&＃xff1a;HMaster,HRegionserver,Region

7).Hive:分布式数据仓库&＃xff0c;其实说白了就是一个数据分析工具&＃xff0c;底层用的还是MapReduce

8).Sqoop:用于将传统数据库中数据导入到hbase或者Hdfs中一个导入工具

9).Spark:基于内存的分布式处理框架

• 主&＃xff1a;Master


• 从&＃xff1a;Worker

2.Hdfs中角色有哪些&＃xff1f;

• NameNode&＃xff1a;管理元数据信息&＃xff0c;给子节点分配任务&＃xff08;FSImage是主节点启动时对整个文件系统的快照&＃xff0c;Edits是修改记录&＃xff09;


• DataNode&＃xff1a;负责数据存储&＃xff0c;实时上报心跳给主节点


• SecondaryNameNode&＃xff1a;

1&＃xff09;首先&＃xff0c;它定时到NameNode去获取edit logs&＃xff0c;并更新到fsimage上。一旦它有了新的fsimage文件&＃xff0c;它将其拷贝回NameNode中。

2&＃xff09; NameNode在下次重启时会使用这个新的fsimage文件&＃xff0c;从而减少重启的时间。

3.Hdfs和Yarn有什么区别&＃xff1f;

1&＃xff09;Hdfs是分布式文件存储系统&＃xff0c;是用来存储文件的&＃xff1b;

2&＃xff09;Yarn是一个资源管理系统&＃xff0c;可为上层应用提供统一的资源管理和调度&＃xff0c;它的引入为集群在利用率、资源统一管理和 数据共享等方面带来了巨大好处

4.MapReduce的shuffle过程&＃xff1f;

从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。

1).Collect阶段&＃xff1a;将MapTask的结果输出到默认大小为100M的环形缓冲区&＃xff0c;保存的是key/value&＃xff0c;Partition分区信息等。

2).Spill阶段&＃xff1a;当内存中的数据量达到一定的阀值的时候&＃xff0c;就会将数据写入本地磁盘&＃xff0c;在将数据写入磁盘之前需要对数据 进行一次排序的操作&＃xff0c;如果配置了combiner&＃xff0c;还会将有相同分区号和key的数据进行排序。

3).Merge阶段&＃xff1a;把所有溢出的临时文件进行一次合并操作&＃xff0c;以确保一个MapTask最终只产生一个中间数据文件。

4).Copy阶段&＃xff1a;ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据&＃xff0c;这些数据默认会 保存在内存的缓冲区中&＃xff0c;当内存的缓冲区达到一定的阀值的时候&＃xff0c;就会将数据写到磁盘之上。

5).Merge阶段&＃xff1a;在ReduceTask远程复制数据的同时&＃xff0c;会在后台开启两个线程对内存到本地的数据文件进行合并操作。

6).Sort阶段&＃xff1a;在对数据进行合并的同时&＃xff0c;会进行排序操作&＃xff0c;由于MapTask阶段已经对数据进行了局部的排序&＃xff0c; ReduceTask只需保证Copy的数据的最终整体有效性即可。

5.MapReduce的Partition和Combine有什么区别&＃xff1f;

• combine分为map端和reduce端&＃xff0c;作用是把同一个key的键值对合并在一起&＃xff0c;可以自定义,该类的主要功能是合并相同的key键


• partition是分割map每个节点的结果&＃xff0c;按照key分别映射给不同的reduce&＃xff0c;也是可以自定义的,partition的作用就是把这些数据归类

6.Hadoop的高可用模式说一下&＃xff1f;

7.Zookeeper在Hadoop中的作用&＃xff1f;

1)Zookeepe主要用来解决分布式应用中经常遇到的数据管理问题&＃xff0c;如集群管理、统一命名服务、分布式配置管理、 分布式消息队列、分布式锁、分布式协调等。

2)Zookeeper是一个由多个server组成的集群&＃xff0c;一个leader&＃xff0c;多个follower&＃xff0c;每个server保存一份数据副本&＃xff0c;全局数据 一致、分布式读写&＃xff0c;更新请求转发&＃xff0c;由leader实施。

8.Sqoop的底层原理&＃xff1f;

是用来实现结构型数据&＃xff08;如关系数据库&＃xff09;和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输&＃xff0c;同时也借助MapReduce实现了容错

9.Sqoop是怎么连接的关系型数据库&＃xff1f;

sqoop import-all-tables –connect jdbc:mysql://192.168.52.110/hivemetadb --username root -password root

10.Java中抽象类怎么理解&＃xff1f;

抽象类不能实例化&＃xff0c;继承的关键字仍然是extends&＃xff0c;而且继承过后可以不覆盖方法&＃xff0c;只是使用继承而来的方法

A:抽象类和抽象方法必须用abstract关键字修饰&＃xff1b;

B:抽象类中不一定有抽象方法&＃xff0c;但是有抽象方法的类必须定义为抽象类&＃xff1b;

C:抽象类不能直接实例化&＃xff1b;(可以通过子类&＃xff08;重写方法后的子类&＃xff09;的多态方式实例化)&＃xff1b;

• 它不是具体的&＃xff1b;


• 抽象类有构造方法&＃xff0c;用于子类访问父类数据的初始化&＃xff1b;

D:抽象类的子类&＃xff1b;

• 如果不想重写抽象方法&＃xff0c;该子类必须是抽象类&＃xff1b;


• 成为具体类则必须重写所有的抽象方法&＃xff1b;

由于篇幅有限&＃xff0c;只展示了一部分&＃xff0c;需要完整版的朋友可以点一点下方链接免费领取&＃xff01;

链接&＃xff1a;1103806531暗号&＃xff1a;CSDN

项目面试题

1.大概介绍一下项目&＃xff1b;

2.hbase表你们是怎么存数据的&＃xff1f;一天数据量是多少&＃xff1f;这么多数据你们都存hbase里吗&＃xff1f;一开始就是个文件&＃xff0c;hbase是表结构&＃xff0c;那你是怎么去获取数据然后给存成表结构的&＃xff1f;

3.假如现在我要查询每个月的每个片区里订单成交量最高的那个司机ID&＃xff0c;你怎么实现&＃xff1f;

4.hive怎么读取数据的&＃xff1f;我要只存里边我需要的数据&＃xff0c;你给我想下怎么优化&＃xff1f;

5.你都用过哪些ETL工具&＃xff1f;怎么用的&＃xff1f;就像flume是怎么获取数据的&＃xff0c;你怎么配置的&＃xff1f;那kafka怎么读取数据的&＃xff1f;hive是直接从kafka里获取数据吗&＃xff1f;

6.你建过外表吗&＃xff1f;怎么建的&＃xff1f;为什么要建外表&＃xff1f;

7.你会写shell吗&＃xff1f;写过哪些&＃xff1f;

8.你应该也经常用linux命令吧&＃xff0c;都用过哪些&＃xff1f;我现在要查所有后缀是.txt的文件名&＃xff0c;怎么查&＃xff1f;grep用过吗&＃xff1f;

9.我现在不想查司机&＃xff0c;我想查订单&＃xff0c;怎么去设计hbase表&＃xff1f;

总结

我这边也整理了一份 架构师全套视频教程 和关于java的系统化资料&＃xff0c;包括java核心知识点、面试专题和20年最新的互联网真题、电子书等都有。有需要的朋友可以点一点下方链接免费领取&＃xff01;

链接&＃xff1a;1103806531暗号&＃xff1a;CSDN

本文地址：https://blog.csdn.net/XingXing_Java/article/details/108869452