SPARK为啥spark用netty替换akka

作者：piggyear | 来源：互联网 | 2023-07-24 18:43

很多Spark用户也使用Akka，但是由于Akka不同版本之间无法互相通信，这就要求用户必须使用跟Spark完全一样的Akka版本，导致用

很多Spark用户也使用Akka&＃xff0c;但是由于Akka不同版本之间无法互相通信&＃xff0c;这就要求用户必须使用跟Spark完全一样的Akka版本&＃xff0c;导致用户无法升级Akka。
Spark的Akka配置是针对Spark自身来调优的&＃xff0c;可能跟用户自己代码中的Akka配置冲突。
Spark用的Akka特性很少&＃xff0c;这部分特性很容易自己实现。同时&＃xff0c;这部分代码量相比Akka来说少很多&＃xff0c;debug比较容易。如果遇到什么bug&＃xff0c;也可以自己马上fix&＃xff0c;不需要等Akka上游发布新版本。而且&＃xff0c;Spark升级Akka本身又因为第一点会强制要求用户升级他们使用的Akka&＃xff0c;对于某些用户来说是不现实的。
akka 是为了通信&＃xff0c;不适合大数据量的传输&＃xff0c;像hadoop flink hbase 这些后面都用netty 来做节点间数据的传输
blockmanager已经要用netty传数据了&＃xff0c;顺便实现个rpc成本不高&＃xff0c;也不引入额外依赖。
 https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-5293
 https://www.zhihu.com/question/61638635

推荐阅读

java
Hbase1.2.0cdh5.16.2使用PREFIX_TREE编码导致集群压缩队列异常

Hbase1.X版本中PREFIX_TREE作为BlockEncoding存在bug，会造成RegionServer节点compactionqueue持续升高，甚至影响fl ... [详细]

蜡笔小新 2023-10-15 14:00:19
int
Spark：【error】远程调试 root:supergroup:drwxrxrx

Exceptioninthreadmainorg.apache.hadoop.security.AccessControlException:Permissiondenied: ... [详细]

蜡笔小新 2023-10-16 14:00:28
ip
杭州｜大数据开发专家 2545K·15 薪

背景信息公司目前有40人，研发人员占比60-70% ... [详细]

蜡笔小新 2023-10-13 16:32:30
ip
无服务器_云原生数据湖架构中的无服务器 Kafka

篇首语：本文由编程笔记#小编为大家整理，主要介绍了云原生数据湖架构中的无服务器Kafka相关的知识，希望对你有一定的参考价值。 ... [详细]

蜡笔小新 2023-10-12 15:37:48
ip
ZooKeeper 学习

前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗？如果别人面试官让你给他讲讲ZooKeeper是个什么东西， ... [详细]

蜡笔小新 2023-10-17 17:07:40
int
什么是大数据lambda架构

一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出，根据维基百科的定义，Lambda架构的设计是为了在处理大规模数 ... [详细]

蜡笔小新 2023-10-17 16:06:09
php
Hadoop源码解析1Hadoop工程包架构解析

1 Hadoop中各工程包依赖简述 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：ht ... [详细]

蜡笔小新 2023-10-17 13:28:20
ip
org.apache.hadoop.hbase.client.Increment.getDurability()方法的使用及代码示例

本文整理了Java中org.apache.hadoop.hbase.client.Increment.getDurability()方法的一些代码示例，展示了 ... [详细]

蜡笔小新 2023-10-17 12:30:05
instance
Hbase Region Server和Hbase Master启动报错 Direct buffer memory

2018-02-1420:07:13,610ERROR[main]regionserver.HRegionServerCommandLine:Regionserverexiting ... [详细]

蜡笔小新 2023-10-16 20:08:57
instance
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍

我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]

蜡笔小新 2023-10-16 14:21:13
export
本文_大数据之非常详细Sqoop安装和基本操作

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大数据之非常详细Sqoop安装和基本操作相关的知识，希望对你有一定的参考价值。大数据大数据之 ... [详细]

蜡笔小新 2023-10-15 15:25:37
php
python中抽象类和抽象方法_python抽象类+抽象方法实现接口(interface)

#python没有类似于java和C#的接口类(interface)，需要使用抽象类和抽象方法来实现接口功能#!usrbinenvpython#_*_coding ... [详细]

蜡笔小新 2023-10-14 22:37:24
go
HBase干货 | 如何优雅的通过Key与Value分离降低写放大难题？

本文将为大家介绍为什么这样能够有效的降低写放大，然后聊聊几个keyvalue分离系统的结构，包括两篇影响比较广泛的学术论文，以及HBase在keyvalue ... [详细]

蜡笔小新 2023-10-14 15:12:27
ip
使用和代码示例：org.apache.hadoop.hbase.client.Append.size()方法详解

本文整理了Java中org.apache.hadoop.hbase.client.Append.size()方法的一些代码示例，展示了Append.size ... [详细]

蜡笔小新 2023-10-13 16:17:34
ip
实时计算既有Flink，为何又推出个StreamPark？

StreamPark2.0.0版本于2023年2月21日正式发布，有流处理需求的开发者可以通过StreamPark官网以及GitHub去下载apache配置 ... [详细]

蜡笔小新 2023-10-12 15:44:47

piggyear

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章