热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

dubbo源码分析第二十二篇一dubbo负载均衡ConsistentHashLoadBalance及一致性hash算法

ConsistentHashLoadBalance原理图第一步:基于网络地址hash构建虚拟一致性hash表获取接口与方法名每个方法构建一致性hash选择器通过选择器选择一个In

ConsistentHashLoadBalance


原理图


第一步: 基于网络地址hash构建虚拟一致性hash表

获取接口与方法名
每个方法构建一致性hash选择器
通过选择器选择一个Invoker

基于调用方法参数值hash获取hash结果

选择器选择Invoker的依据: 方法的参数值hash以及参与hash的方法参数数量
默认只有第一个参数的参数值参与hash


在这里插入图片描述

protected <T> Invoker<T> doSelect(List<Invoker<T>> invokers, URL url, Invocation invocation) {获取接口与方法名String methodName = RpcUtils.getMethodName(invocation);String key = invokers.get(0).getUrl().getServiceKey() + "." + methodName;每一个方法一个一致性hash选择器int invokersHashCode = invokers.hashCode();ConsistentHashSelector<T> selector = (ConsistentHashSelector<T>) selectors.get(key);if (selector == null || selector.identityHashCode != invokersHashCode) {selectors.put(key, new ConsistentHashSelector<T>(invokers, methodName, invokersHashCode));selector = (ConsistentHashSelector<T>) selectors.get(key);}通过选择器选择一个Invokerreturn selector.select(invocation);}

获取一致性hash选择器


  • 获取方法配置的结点数,默认160
  • 获取需要进行hash的参数数组索引,默认对第一个参数进行hash
  • 构建一致性hash表,大小为replicaNumber*Invoker数量

private static final class ConsistentHashSelector<T> {private final TreeMap<Long, Invoker<T>> virtualInvokers; // 一致性hash表 大小为replicaNumber*Invoker数量private final int replicaNumber; // 副本数 默认160个private final int identityHashCode;private final int[] argumentIndex;// [0,1,2]几个参数参数参与hash 负载,默认只有第一个参数参与也就是数组为[0]ConsistentHashSelector(List<Invoker<T>> invokers, String methodName, int identityHashCode) {this.virtualInvokers = new TreeMap<Long, Invoker<T>>();// 生成调用结点HashCodethis.identityHashCode = identityHashCode;URL url = invokers.get(0).getUrl();获取方法配置的结点数,默认160this.replicaNumber = url.getMethodParameter(methodName, HASH_NODES, 160);获取需要进行hash的参数数组索引,默认对第一个参数进行String methodParameter = url.getMethodParameter(methodName, HASH_ARGUMENTS, "0");String[] index = COMMA_SPLIT_PATTERN.split(methodParameter); // {&#39;0&#39;}构建参数hash的参数数组元信息argumentIndex = new int[index.length];for (int i = 0; i < index.length; i++) {argumentIndex[i] = Integer.parseInt(index[i]);}构建一致性hash表for (Invoker<T> invoker : invokers) { // 每个Invoker构建40*4个虚拟节点String address = invoker.getUrl().getAddress();for (int i = 0; i < replicaNumber / 4; i++) { // 每4个虚拟节点共用同一个地址进行hash// byte数组 128位byte[] digest = md5(address + i); // 简单理解: 有40个不同地址的节点 [有40个节点的hash 通过地址加index进行md5 hash]for (int h = 0; h < 4; h++) { // 每个地址hash结果为128位,分成0~31 32——63 64~95 96~127四部分long m = hash(digest, h); // 算出四部分每部分的hash值virtualInvokers.put(m, invoker); // 加入一致性hash表[注意不是环]}}}}

负载实现


  • 根据前面配置的argumentIndex,判断取几个参数进行一致性hash
  • 默认argumentIndex 大小为1,数组值为0;表示取第一个参数进行hash

public Invoker<T> select(Invocation invocation) {根据前面配置的argumentIndex,判断取几个参数进行一致性hashString key = toKey(invocation.getArguments());byte[] digest = md5(key);return selectForKey(hash(digest, 0));
}private String toKey(Object[] args) {默认argumentIndex 大小为1,数组值为0表示取第一个参数进行hashStringBuilder buf = new StringBuilder();for (int i : argumentIndex) {if (i >= 0 && i < args.length) {buf.append(args[i]);}}return buf.toString();
}

  • 根据hash值取virtualInvokers一致性hash表上的节点
  • 兜底逻辑: 溢出则取第一个

private Invoker<T> selectForKey(long hash) {Map.Entry<Long, Invoker<T>> entry = virtualInvokers.ceilingEntry(hash);if (entry == null) {entry = virtualInvokers.firstEntry();}return entry.getValue();}

推荐阅读
  • 开发笔记:9.八大排序
    开发笔记:9.八大排序 ... [详细]
  • 对象自省自省在计算机编程领域里,是指在运行时判断一个对象的类型和能力。dir能够返回一个列表,列举了一个对象所拥有的属性和方法。my_list[ ... [详细]
  • 利用决策树预测NBA比赛胜负的Python数据挖掘实践
    本文通过使用2013-14赛季NBA赛程与结果数据集以及2013年NBA排名数据,结合《Python数据挖掘入门与实践》一书中的方法,展示如何应用决策树算法进行比赛胜负预测。我们将详细讲解数据预处理、特征工程及模型评估等关键步骤。 ... [详细]
  • 深入解析Redis内存对象模型
    本文详细介绍了Redis内存对象模型的关键知识点,包括内存统计、内存分配、数据存储细节及优化策略。通过实际案例和专业分析,帮助读者全面理解Redis内存管理机制。 ... [详细]
  • 反向投影技术主要用于在大型输入图像中定位特定的小型模板图像。通过直方图对比,它能够识别出最匹配的区域或点,从而确定模板图像在输入图像中的位置。 ... [详细]
  • Kubernetes 持久化存储与数据卷详解
    本文深入探讨 Kubernetes 中持久化存储的使用场景、PV/PVC/StorageClass 的基本操作及其实现原理,旨在帮助读者理解如何高效管理容器化应用的数据持久化需求。 ... [详细]
  • 深入解析for与foreach遍历集合时的性能差异
    本文将详细探讨for循环和foreach(迭代器)在遍历集合时的性能差异,并通过实际代码示例和源码分析,帮助读者理解这两种遍历方式的不同之处。文章内容丰富且专业,旨在为编程爱好者提供有价值的参考。 ... [详细]
  • 本文介绍了一个SQL Server自定义函数,用于从字符串中提取仅包含数字和小数点的子串。该函数通过循环删除非数字字符来实现,并附带创建测试表、存储过程以演示其应用。 ... [详细]
  • 本文介绍如何使用 Android 的 Canvas 和 View 组件创建一个简单的绘图板应用程序,支持触摸绘画和保存图片功能。 ... [详细]
  • 在本教程中,我们将深入探讨如何使用 Python 构建游戏的主程序模块。通过逐步实现各个关键组件,最终完成一个功能完善的游戏界面。 ... [详细]
  • 本教程详细介绍了如何使用 TensorFlow 2.0 构建和训练多层感知机(MLP)网络,涵盖回归和分类任务。通过具体示例和代码实现,帮助初学者快速掌握 TensorFlow 的核心概念和操作。 ... [详细]
  • 目录一、salt-job管理#job存放数据目录#缓存时间设置#Others二、returns模块配置job数据入库#配置returns返回值信息#mysql安全设置#创建模块相关 ... [详细]
  • 本文介绍 SQL Server 的基本概念和操作,涵盖系统数据库、常用数据类型、表的创建及增删改查等基础操作。通过实例帮助读者快速上手 SQL Server 数据库管理。 ... [详细]
  • 本文介绍如何在Spring Boot项目中集成Redis,并通过具体案例展示其配置和使用方法。包括添加依赖、配置连接信息、自定义序列化方式以及实现仓储接口。 ... [详细]
  • 社交网络中的级联行为 ... [详细]
author-avatar
大小大空间_566
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有