热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

腾讯云正在自研全新高性能传输协议HARP

IT之家12月21日消息,在常见的TCP/IP协议、RoCE协议之外,腾讯云正在自研一套全新的高性能传输协议HARP电子邮件传输协议。借助这

IT之家 12 月 21 日消息,在常见的 TCP / IP 协议、RoCE 协议之外,腾讯云正在自研一套全新的高性能传输协议 HARP电子邮件传输协议。借助这套协议,数据中心内部可以轻松支持 10000 + 节点的大规模组网,以及微秒级“复活”故障网络,实现 0 断链。

HARP 是一个完全自研的数据中心高性能传输协议电子邮件传输协议。在保证端到端数据报文可靠传输的同时,HARP 可以为上层应用提供高可用、高可扩展、高性能的网络传输服务。

市面上已经有各种各样的网络传输协议,腾讯云为什么从 0 到 1 开始自研新的传输协议呢?主要原因是,随着应用规模和需求的不断发展,数据中心网络的可靠性和性能面临着巨大的挑战,之前的协议渐渐无法满足现有业务的发展电子邮件传输协议

首先,可靠性上,数据中心内部的交换机不可避免地会出现亚健康状况,这种状况轻则使得业务的响应延时增加,重则导致业务超时断链电子邮件传输协议。其次,性能上,带宽敏感型应用、时延敏感的应用与日俱增,而且数据中心应用的部署规模越来越大,集合通信场景下往往会产生大量的并发的数据传输,这对现有网络传输协议的可扩展性提出了更大的要求。

因此,腾讯需要重新设计一套新的传输协议,既能满足上层应用对于高可用网络传输的要求,又能提供高带宽、低时延的数据传输服务,还能保持在大规模部署下的网络性能电子邮件传输协议

HARP 主要有三高特性:

“高可用”:通过多路径并行传输及实时的链路检测,微秒级切换故障链路,使得网络发生故障时上层业务完全无感知,没有明显的性能抖动电子邮件传输协议

“高可扩展性”:通过共享连接的设计和协议本身的优化,使得大规模组网状况下依然维持着极低的硬件资源消耗,轻松支持 1w + 节点组网下节点间通信性能无明显下跌,大大优于传统 ROCE 网络的组网能力电子邮件传输协议

“高性能”:自研拥塞控制算法,对网络能力无明显依赖的前提下,实现各种负载时都能获得极高的传输带宽和稳定的时延(包括平均时延和长尾时延)电子邮件传输协议

技术上如何实现的

1、粒度可配置的共享连接电子邮件传输协议,最大支持 10000 + 节点组网

为了满足多种业务环境的使用需求(裸金属,VM,CBS 等)和大规模组网要求,HARP 支持裸连接、VM 级共享、主机级共享等粒度的连接模式电子邮件传输协议。通过共享连接,HARP 可以大幅减少连接数量,降低硬件实现的资源消耗,实现高度的可扩展性,轻松支持 10000 + 级节点的大规模组网。

2、软硬件事务分离电子邮件传输协议,提供 200Gbps 最高性能输出

HARP 采用软硬件分层的事务层和可靠传输层设计,分工明确:硬件负责需要高效和可靠传输的报文级事务;软件部分则提供高度灵活、贴合业务特性需求的消息处理,而不占用有限的硬件资源电子邮件传输协议

腾讯云正在自研全新高性能传输协议HARP

展开全文

最终,HARP 可以支持在 10000 + 节点的网络规模的业务中,提供 200Gbps 的最高性能输出,对于 AI 训练、键值存储、分布式大数据应用等场景具有独特价值电子邮件传输协议

3、自研拥塞控制算法电子邮件传输协议,让消息完成时间中位数降低 35%

HARP 采用自研的拥塞控制算法 PEAD,精确地感知网络拥塞,在维持高吞吐的同时,保证网络流的通畅电子邮件传输协议。相较于 TCP,HARP 消息完成时间的中位数降低了 35%,同时保证 99% 数据包的网络排队时延降低 90%。

4、确定性多路径传输、实现微秒级路径切换

腾讯云 HARP 协议吸收包括 TCP 和 UDP 的优势,通过自研的报文编号方案追踪每个报文的发送和接收状态,HARP 以极低开销支持乱序接收和选择性重传,保证了报文的可靠传输电子邮件传输协议

腾讯云正在自研全新高性能传输协议HARP

同时,HARP 通过确定性多路径传输和微秒级路径切换,为上层应用提供高可用网络服务电子邮件传输协议

HARP 在每个连接内采用多路径传输,每条路径有独立的拥塞探测能力电子邮件传输协议。基于自研拥塞控制算法优良的网络控制和感知能力,HARP 的路径管理模块会根据路径的拥塞情况进行调度,快速可靠地检测到路径故障,并在 100 微秒时间内重新探测一条新的可用路径,保证在单个交换机故障时的断链概率为 0。相比起 TCP 遭遇故障的典型重连恢复时间(约为 1s),HARP 减少了 99.9%。

IT之家了解到,HARP 最初是面向存储与高性能计算的场景而设计,目前也已经落地在腾讯的云硬盘(CBS)与弹性 RDMA(EFI)业务中电子邮件传输协议。作为一个高性能的通信底座,HARP 可以被应用于数据中心对网络性能要求较高的业务中,比如 AI 训练、键值存储、分布式大数据应用等。

当前腾讯云的工程师还正在不断地完善其高性能通信库,包括使用 Socket、IB Verbs、libfabric、UCX 等通信接口接入 HARP 传输协议,从而不断扩大 HARP 的生态电子邮件传输协议


推荐阅读
  • 对象存储与块存储、文件存储等对比
    看到一篇文档,讲对象存储,好奇,搜索文章,摘抄,学习记录!背景:传统存储在面对海量非结构化数据时,在存储、分享与容灾上面临很大的挑战,主要表现在以下几个方面:传统存储并非为非结 ... [详细]
  • 电商高并发解决方案详解
    本文以京东为例,详细探讨了电商中常见的高并发解决方案,包括多级缓存和Nginx限流技术,旨在帮助读者更好地理解和应用这些技术。 ... [详细]
  • 本文详细介绍了Socket在Linux内核中的实现机制,包括基本的Socket结构、协议操作集以及不同协议下的具体实现。通过这些内容,读者可以更好地理解Socket的工作原理。 ... [详细]
  • 本章介绍了TCP/IP协议族中的链路层,其主要功能是为IP模块发送和接收IP数据报。链路层还支持一些辅助性协议,如ARP。此外,本文详细探讨了不同类型的链路层技术及其应用。 ... [详细]
  • 考前准备方面,我的考试时间安排在上午11点至12点,只需提前20分钟到达考场的接待休息区即可。由于我居住在福田区,交通便利,可以选择多种方式前往考场。为了确保顺利通过考试,我建议考生提前熟悉考试流程和环境,并合理规划出行时间,以保持良好的心态和状态。此外,考前复习应注重理论与实践相结合,多做模拟题,加强对重点知识点的理解和掌握。 ... [详细]
  • Java高级工程师学习路径及面试准备指南
    本文基于一位朋友的PDF面试经验整理,涵盖了Java高级工程师所需掌握的核心知识点,包括数据结构与算法、计算机网络、数据库、操作系统等多个方面,并提供了详细的参考资料和学习建议。 ... [详细]
  • 如何高效学习鸿蒙操作系统:开发者指南
    本文探讨了开发者如何更有效地学习鸿蒙操作系统,提供了来自行业专家的建议,包括系统化学习方法、职业规划建议以及具体的开发技巧。 ... [详细]
  • 本文探讨了使用Python实现监控信息收集的方法,涵盖从基础的日志记录到复杂的系统运维解决方案,旨在帮助开发者和运维人员提升工作效率。 ... [详细]
  • 春季职场跃迁指南:如何高效利用金三银四跳槽季
    随着每年的‘金三银四’跳槽高峰期的到来,许多职场人士都开始考虑是否应该寻找新的职业机会。本文将探讨如何制定有效的职业规划、撰写吸引人的简历以及掌握面试技巧,助您在这关键时期成功实现职场跃迁。 ... [详细]
  • 深入探讨:Actor模型如何解决并发与分布式计算难题
    在现代软件开发中,高并发和分布式系统的设计面临着诸多挑战。本文基于Akka最新文档,详细探讨了Actor模型如何有效地解决这些挑战,并提供了对并发和分布式计算的新视角。 ... [详细]
  • RTThread线程间通信
    线程中通信在裸机编程中,经常会使用全局变量进行功能间的通信,如某些功能可能由于一些操作而改变全局变量的值,另一个功能对此全局变量进行读取& ... [详细]
  • Redis:缓存与内存数据库详解
    本文介绍了数据库的基本分类,重点探讨了关系型与非关系型数据库的区别,并详细解析了Redis作为非关系型数据库的特点、工作模式、优点及持久化机制。 ... [详细]
  • 利用ZFS和Gluster实现分布式存储系统的高效迁移与应用
    本文探讨了在Ubuntu 18.04系统中利用ZFS和Gluster文件系统实现分布式存储系统的高效迁移与应用。通过详细的技术分析和实践案例,展示了这两种文件系统在数据迁移、高可用性和性能优化方面的优势,为分布式存储系统的部署和管理提供了宝贵的参考。 ... [详细]
  • 在交换机链路聚合中,负载均衡算法通过哈希表实现。每当创建一个新的聚合组时,交换机的底层硬件会生成一个对应的哈希表,该表存储在交换芯片上。哈希表的结构包括索引(Index)和相应的条目,这些索引由硬件支持,用于确定数据包的传输路径。通过这种方式,负载均衡算法能够高效地分配网络流量,提高链路利用率和系统性能。 ... [详细]
  • 负载均衡基础概念与技术解析
    随着互联网应用的不断扩展,用户流量激增,业务复杂度显著提升,单一服务器已难以应对日益增长的负载需求。负载均衡技术应运而生,通过将请求合理分配到多个服务器,有效提高系统的可用性和响应速度。本文将深入探讨负载均衡的基本概念和技术原理,分析其在现代互联网架构中的重要性及应用场景。 ... [详细]
author-avatar
我没资格我不配
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有