热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

大数据面试20210611

目录基础题1、flinkcheckpoint与savepoint区别以及使用场景思考题2、Kafka高效读写数据的原理1.顺序写磁盘2.分段日志+索引文件3.零拷贝4.PageCa

目录

基础题

1、flink checkpoint 与 savepoint 区别以及使用场景

思考题

2、Kafka 高效读写数据的原理

1.顺序写磁盘

2.分段日志 + 索引文件

3.零拷贝

4. Page Cache

5. 批量发送

6. 数据压缩

智力题

3、岛上有 100 个囚犯,




基础题

1、flink checkpoint 与 savepoint 区别以及使用场景

1.checkpoint的侧重点是“容错”,即Flink作业意外失败并重启之后,能够直接从早先打下的checkpoint恢复运行,且不影响作业逻辑的准确性。而savepoint的侧重点是“维护”,即Flink作业需要在人工干预下手动重启、升级、迁移或A/B测试时,先将状态整体写入可靠存储,维护完毕之后再从savepoint恢复现场。

 2.savepoint是“通过checkpoint机制”创建的,所以savepoint本质上是特殊的checkpoint。

 3.checkpoint面向Flink Runtime本身,由Flink的各个TaskManager定时触发快照并自动清理,一般不需要用户干预;savepoint面向用户,完全根据用户的需要触发与清理。

 4.checkpoint的频率往往比较高(因为需要尽可能保证作业恢复的准确度),所以checkpoint的存储格式非常轻量级,但作为trade-off牺牲了一切可移植(portable)的东西,比如不保证改变并行度和升级的兼容性。savepoint则以二进制形式存储所有状态数据和元数据,执行起来比较慢而且“贵”,但是能够保证portability,如并行度改变或代码升级之后,仍然能正常恢复。

 5.checkpoint是支持增量的(通过RocksDB),特别是对于超大状态的作业而言可以降低写入成本。savepoint并不会连续自动触发,所以savepoint没有必要支持增量。


思考题

2、Kafka 高效读写数据的原理


出处链接:https://blog.csdn.net/weixin_45749011/article/details/106633114?utm_source=app&app_version=4.5.4



1.顺序写磁盘

Kafka的producer生产数据,要写入到log文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到600M/s,而随机写只有100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的

时间。


2.分段日志 + 索引文件

分段日志是通过数据的偏移量进行存储,索引文件是能快速定位所要查询数据的位置

1、Kafka把topic中一个parition大文件分成多个小文件段,通过多个小文件段,就容易定期清除或删除已经消费完文件,减少磁盘占用。

2、通过索引信息可以快速定位message和确定response的最大大小。

3、通过index元数据全部映射到memory,可以避免segment file的IO磁盘操作。

4、通过索引文件稀疏存储,可以大幅降低index文件元数据占用空间大小。


3.零拷贝

如下图所示是普通Java读取复制文件的一个流程

Java程序是无法直接操作硬件的,所以Java想要操作文件的话必须得通过操作系统去读取文件。这时就会涉及大量的读写缓存,因为我们发送数据的时候不可能1kb的发,因此只能先缓存起来,这必定会涉及到大量的IO操作,由此可见这样的效率并不是非常高的。

零拷贝

1.在Kafka中我们的Java程序并不需要文件的内容,所以Kafka就使用了零拷贝的技术,因此Kafka当中的数据直接缓存在操作系统当中,我们读也在这里读 写也在这里写,这样的效率提高了许多。

2.所谓的零拷贝并不是真正意义上的零拷贝 实际上是缓存了一次,只是相对于普通Java读取复制文件少了许多中间的缓存


4. Page Cache

由上图可见

1. 传统的数据传输是先将数据缓存在内存当中,当数据达到一定的阈值再写入到文件中。

2. Page Cache 是在操作系统开了一个内存将数据直接缓存到系统内存中。

3. 虽然将数据缓存到Page Cache中会比直接缓存到Memory中效率更低,但是当数据量达到一定的阈值的时候Memory会对缓存中的数据进行溢写,这样的效率就会比直接写入Page Cache会更低,因为Page Cache对文件进行读写操作效率是非常高的,而Memory对数据进行溢写这时就需要请求操作系统,所以这样的效率会比Page Cache对文件的读写操作效率低很多。

4. 缓存到Memory我们JVM所分配到的内存是有限的,而Page Cache是利用操作系统的内存。


5. 批量发送

kafka允许进行批量发送消息,producer发送消息的时候,可以将消息缓存在本地,等到了固定条件发送到kafka

1. 等消息条数到固定条数

2. 一段时间发送一次


6. 数据压缩

Kafka还支持对消息集合进行压缩,Producer可以通过GZIP或Snappy格式对消息集合进行压缩。

压缩的好处就是减少传输的数据量,减轻对网络传输的压力

批量发送和数据压缩一起使用效果最好,单条做数据压缩的话,效果不明显


智力题

3、岛上有 100 个囚犯,

他们都是蓝眼睛,但是他们都只能看到别人眼睛的颜色, 并不能知道自己的眼睛颜色,而且他们之间不能去谈论眼睛颜色的话题,规定每天晚上都可 以有一个人去找守卫说出自己的眼睛颜色,如果错了被杀死,如果对了被释放。但是大家在 没有十足的把握前都不敢去找守卫,有一天,一个医生对他们说你们之中至少有一个蓝眼睛, 然后 N 天,这些人都获救了,为什么?这句话对他们有什么影响?

如果只有一个蓝眼人,那么他原本看不到蓝眼人,听到医生的话,就知道了医生说的蓝眼人就是自己,因此他在当天晚上找守卫说自己是蓝眼睛。

由此可以推出,如果有两个蓝眼人,那么他们原本都只看到一个蓝眼人,听到医生的话,都会想:对方是不是岛上唯一的蓝眼人?如果是的话,那么一天后他应该发现对方已经被释放。但过了一天没人被释放,因此两人都明白了,对方没被释放是因为岛上还有一个蓝眼人,就是自己。因此,在医生讲话的第二天晚上,这两人会一起被释放。

这是个递归逻辑。各位想想,如果有三个蓝眼睛,那第二天当晚这三个蓝眼睛就同时被释放。

如果是四个蓝眼睛,那第三天当晚这四个蓝眼睛就同时被释放。

依次类推,100个蓝眼睛,第99天当晚全部被释放。

 

 

 



推荐阅读
  • 解决Only fullscreen opaque activities can request orientation错误的方法
    本文介绍了在使用PictureSelectorLight第三方框架时遇到的Only fullscreen opaque activities can request orientation错误,并提供了一种有效的解决方案。 ... [详细]
  • 在ElasticStack日志监控系统中,Logstash编码插件自5.0版本起进行了重大改进。插件被独立拆分为gem包,每个插件可以单独进行更新和维护,无需依赖Logstash的整体升级。这不仅提高了系统的灵活性和可维护性,还简化了插件的管理和部署过程。本文将详细介绍这些编码插件的功能、配置方法,并通过实际生产环境中的应用案例,展示其在日志处理和监控中的高效性和可靠性。 ... [详细]
  • Spring – Bean Life Cycle
    Spring – Bean Life Cycle ... [详细]
  • 在多线程并发环境中,普通变量的操作往往是线程不安全的。本文通过一个简单的例子,展示了如何使用 AtomicInteger 类及其核心的 CAS 无锁算法来保证线程安全。 ... [详细]
  • 1.创建目录mkdir-phomerocketmqnamesvr1data&&mkdir-phomerocketmqnamesvr1log&&mkdir-phomerocketm ... [详细]
  • 本文介绍了如何利用HTTP隧道技术在受限网络环境中绕过IDS和防火墙等安全设备,实现RDP端口的暴力破解攻击。文章详细描述了部署过程、攻击实施及流量分析,旨在提升网络安全意识。 ... [详细]
  • 技术分享:使用 Flask、AngularJS 和 Jinja2 构建高效前后端交互系统
    技术分享:使用 Flask、AngularJS 和 Jinja2 构建高效前后端交互系统 ... [详细]
  • PTArchiver工作原理详解与应用分析
    PTArchiver工作原理及其应用分析本文详细解析了PTArchiver的工作机制,探讨了其在数据归档和管理中的应用。PTArchiver通过高效的压缩算法和灵活的存储策略,实现了对大规模数据的高效管理和长期保存。文章还介绍了其在企业级数据备份、历史数据迁移等场景中的实际应用案例,为用户提供了实用的操作建议和技术支持。 ... [详细]
  • 在对WordPress Duplicator插件0.4.4版本的安全评估中,发现其存在跨站脚本(XSS)攻击漏洞。此漏洞可能被利用进行恶意操作,建议用户及时更新至最新版本以确保系统安全。测试方法仅限于安全研究和教学目的,使用时需自行承担风险。漏洞编号:HTB23162。 ... [详细]
  • 服务器部署中的安全策略实践与优化
    服务器部署中的安全策略实践与优化 ... [详细]
  • 本文介绍了如何利用Shell脚本高效地部署MHA(MySQL High Availability)高可用集群。通过详细的脚本编写和配置示例,展示了自动化部署过程中的关键步骤和注意事项。该方法不仅简化了集群的部署流程,还提高了系统的稳定性和可用性。 ... [详细]
  • 为了确保iOS应用能够安全地访问网站数据,本文介绍了如何在Nginx服务器上轻松配置CertBot以实现SSL证书的自动化管理。通过这一过程,可以确保应用始终使用HTTPS协议,从而提升数据传输的安全性和可靠性。文章详细阐述了配置步骤和常见问题的解决方法,帮助读者快速上手并成功部署SSL证书。 ... [详细]
  • Maven Web项目创建时JSP文件常见错误及解决方案
    Maven Web项目创建时JSP文件常见错误及解决方案 ... [详细]
  • 在本文中,我们将探讨如何在Docker环境中高效地管理和利用数据库。首先,需要安装Docker Desktop以确保本地环境准备就绪。接下来,可以从Docker Hub中选择合适的数据库镜像,并通过简单的命令将其拉取到本地。此外,我们还将介绍如何配置和优化这些数据库容器,以实现最佳性能和安全性。 ... [详细]
  • 深入解析CAS机制:全面替代传统锁的底层原理与应用
    本文深入探讨了CAS(Compare-and-Swap)机制,分析了其作为传统锁的替代方案在并发控制中的优势与原理。CAS通过原子操作确保数据的一致性,避免了传统锁带来的性能瓶颈和死锁问题。文章详细解析了CAS的工作机制,并结合实际应用场景,展示了其在高并发环境下的高效性和可靠性。 ... [详细]
author-avatar
轩楼妈
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有