阿里中间件的源与流

前言

阿里中间件如雷贯耳&＃xff0c;听上去高深莫测&＃xff0c;那到底是哪几样神兵利器呢&＃xff1f;中间件是阿里中台的前身。阿里中台就像腾讯的游戏工厂、字节的app工厂一样&＃xff0c;有了它&＃xff0c;各种电商应用如雨后春笋一样冒了出来。

从中间件->中台->阿里云

中台建设需要一个中心化控制单元&＃xff0c;就是我们的运营平台。它主要由协议标准、能力地图、业务需求结构分解、全局业务身份、业务全景图、业务度量等构成。能让我们有一个地方纵观全局&＃xff0c;把控细节。

其中能力地图是一个最基础的设施&＃xff0c;要能把电商生态里面的能力都呈现出来&＃xff0c;并在过程中不断的优化完善。就象我们现在出行离不开XX地图一样&＃xff0c;今后所有的业务方需要做业务规划&＃xff0c;业务创新&＃xff0c;都可以到这儿来寻找需要的基础能力。

在阿里集团内部&＃xff0c;所有业务中台、前台&＃xff0c;共享一个技术平台底座&＃xff0c;将阿里多年技术沉淀的价值最大化&＃xff0c;提供运行更稳定、架构更灵活的技术支撑。阿里巴巴集团在近期的组织结构调整中&＃xff0c;组成由“小前台&＃xff0c;大中台”互为协同的创新管理模式。原阿里巴巴中国零售事业群总裁张建锋将担负起“中台”的重要工作&＃xff0c;负责共享、数据、搜索&＃xff0c;以及闲鱼、淘宝头条等创新孵化业务。

从五彩石项目说起

阿里巴巴电商系统的发展历程中也遇到过。由于业务体量巨大、需求变更频繁&＃xff0c;导致淘宝和淘宝商城(天猫的前身)的研发效率变得低下&＃xff0c;在这个背景下&＃xff0c;2008年10月立项了著名的“五彩石”项目&＃xff0c;对电商系统做了系统的拆分&＃xff0c;完成了服务化改造。五彩石项目把淘宝和淘宝商城技术架构合并&＃xff0c;合并成新的架构&＃xff0c;这个项目对整个阿里的意义绝对重大。这个项目做完以后&＃xff0c;架构差不多完成了。“五彩石”用于将交易系统从单机变成分布式。

通过这个项目&＃xff0c;孕育出了以HSF、Notify 为代表的分布式中间件组件。并且&＃xff0c;在随后的十年中&＃xff0c;分布式中间件蓬勃发展&＃xff0c;从软负载中心Config Server、 配置中心Diamond Server, 到全链路追踪EagleEye、限流Sentincel,再到全链路压测体系&＃xff0c;可以说&＃xff0c;基于分布式中间件构建的整个服务化体系是支撑“双11”GMV从2009年的5000万元到今天惊人的2135亿元的技术基石。正是服务化改造的成功实施和不断演进&＃xff0c;为每年万亿流量的洪峰及层出不穷的大促玩法保驾护航了有10个年头。这就需要引入解决分布式问题的中间件技术。

当时并没有商业软件可以使用&＃xff0c;也没有合适的开源产品可以选。五彩石项目第一次大规模使用了中间件。系统分布式后&＃xff0c;需要有一套统一的组件来解决分布式引发的共性技术问题。比如提供服务的发现机制、提供服务的分组路由机制、同机房优先机制等。我们将其沉淀在一个框架里&＃xff0c;这个框架被称为HSF。

为了解决单库性能瓶颈问题&＃xff0c;使用分库分表的技术&＃xff0c;这个技术被沉淀在TDDL框架上面。

为了解决分布式事务的性能问题&＃xff0c;把原本一个事务的工作拆成了异步执行&＃xff0c;同时必须要保证最终数据的一致性&＃xff0c;我们采用了消息发布订阅的方式来解决&＃xff0c;这个消息框架就是Notify。

有了HSF、TDDL、Notify这『三大件』&＃xff0c;有效地解决了应用分布式后引发的技术扩展性问题&＃xff0c;同时让整个系统的技术架构变得依旧如当初一样的简。

为了解决业务扩展性问题&＃xff0c;通过抽取共享服务层&＃xff0c;在非常低的试错成本下涌现出来大量新的业务市场&＃xff0c;推动了阿里电商业务的快速发展&＃xff0c;同时共享服务本身也随着业务发展起到了越重要的作用。比如库存中心服务的抽取&＃xff0c;使得和商家对接的供应链领域得到了快速发展。

为了解决技术扩展性问题&＃xff0c;引入了分布中间件技术。扩展服务器的存储和计算能力变得只需要增加服务器就可以轻松解决&＃xff0c;研发过程不需要关注分布式带来的的理解上的困难。分布式中间件的本质是让多台廉价的PC服务器可以组成一台超级计算机。

通过五彩石项目&＃xff0c;阿里技术完成了一次伟大的技术变革&＃xff0c;为后续的持续架构演进打下了坚实基础。沉淀了一套『共享服务化』的架构理念&＃xff0c;以及一套与该架构理念相对应的分布式中间件技术。

这个架构理念和这套分布式中间件技术在后续阿里的业务和技术发展上被大范围使用&＃xff0c;同时也被业界很多互联网公司所借鉴。

从HSF到EDAS

HSF(High-Speed Service Framework)&＃xff0c;新人可以直接理解成这是阿里的RPC。作为一个纯客户端架构的RPC框架&＃xff0c;没有服务端集群&＃xff0c;所有HSF服务调用均是通过服务消费方&＃xff08;Consumer&＃xff09;与服务提供方&＃xff08;Provider&＃xff09;点对点进行。为了实现整套分布式服务体系&＃xff0c;HSF还需要依赖以下外部系统。

EDAS 除了以互联网中间件 PaaS 平台为基础&＃xff0c;采用高性能 RPC 框架 HSF 和 Dubbo 作为服务化框架之外&＃xff0c;还提供分布式配置管理、分布式任务调度、分布式事务等核心功能。

说明 Dubbo 3.0实现了和HSF框架的技术统一。在EDAS中&＃xff0c;可以便捷的将HSF应用升级为Dubbo 3.0应用。升级之后&＃xff0c;HSF应用可沿用原有开发方式&＃xff0c;还可以使用EDAS为Dubbo应用提供的更加完善的服务治理功能。

从TDDL到PolarDB-X

TDDL阶段

关键字&＃xff1a;阿里巴巴大规模应用&＃xff1b;分库分表技术开创者
去掉传统商业数据库后&＃xff0c;是否有更适合的产品和解决方案来替代呢&＃xff1f;对于数据库来说&＃xff0c;答案是明确的&＃xff1a;开源&＃43;分布式&＃xff0c;开源解决成本问题&＃xff0c;分布式解决性能和容量问题。

同年11月11日&＃xff0c;TDDL&＃xff08;Taobao Distributed Data Layer&＃xff09;首次发布&＃xff0c;开创了分布式数据库中间件&＃43;开源数据库应用在高并发交易系统的先河。

当时的TDDL虽然是一个客户端jar&＃xff0c;但创造性地提出了三层&＃xff08;Matrix、Group、Atom&＃xff09;拆分拓扑结构&＃xff0c;满足应用按需制定拆分策略的同时&＃xff0c;解决了弹性扩容、本地高可用等企业应用难题。

2011~2015&＃xff0c;TDDL成为阿里巴巴数据库系统的统一接入标准&＃xff0c;开始面向阿里巴巴所有业务提供分布式数据库服务。目前集团内运行实例约30万套&＃xff0c;业务覆盖支付、资金、即时通信、媒体等十余大类。

丰富的业务模型造就了TDDL优秀的MySQL语法兼容性&＃xff0c;庞大的业务规模使TDDL打磨出优异的内核稳定性&＃xff0c;历年双十一的加持孵化了TDDL业界顶尖的高性能高吞吐。

与此同时&＃xff0c;阿里巴巴分布式数据库的商业化进程悄然启动。

DRDS阶段

关键字&＃xff1a;云端商业化&＃xff1b;高性能SQL引擎
DRDS&＃xff08;Distributed Relational Database Service&＃xff09;于2016年初迎来了第一个公有云付费客户。自此&＃xff0c;DRDS一直在不断努力提升单位资源的处理能力&＃xff0c;以求最大限度帮助客户降本增效。

DRDS研发团队于2017年发布的新一代高性能分布式SQL引擎&＃xff0c;通过PlanCache、FastSQL、定制化的底层驱动使Batch写、含拆分键Select、读写分离等操作具有300%的性能提升&＃xff1b;跨库聚合、分布式Join、分布式事务等操作具有200%性能提升。

DRDS提供更低使用成本&＃xff0c;包括对不同维度的表的Join操作的支持、内存中二次排序的支持和对内存结果做函数计算的支持等。

DRDS还针对分布式数据库使用场景提供一系列的企业级特性&＃xff0c;包括全局Sequence服务、读写分离、数据库账号体系和DRDS后台运维指令集。

凭借优异性能和相对优良的体验&＃xff0c;DRDS迅速在公有云积累了一批忠实用户。

DRDS的商业化成功&＃xff0c;标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变&＃xff0c;以及从分布式数据库中间件到分布式数据库系统实质性跨越。

PolarDB-X 1.0阶段

关键字&＃xff1a;架构与品牌升级&＃xff1b;国计民生项目
2018~2019年&＃xff0c;DRDS凭借优异稳定性、超高性能以及丰富的企业特性&＃xff0c;承接众多政企行业的国计民生项目&＃xff0c;积极投入我国信息系统基础设施数字化转型建设&＃xff0c;品牌声誉得到大幅提升&＃xff0c;逐步成长为代表阿里巴巴的名片级产品。

与此同时&＃xff0c;DRDS进行品牌升级&＃xff0c;命名为PolarDB-X&＃xff0c;“PolarDB"是阿里云自研关系型数据库产品家族名称&＃xff0c;“X"取音"Extreme”&＃xff0c;取意"极致”。

PolarDB-X 1.0支持以PolarDB MySQL作为存储节点&＃xff0c;大幅提高集群IO能力以及柔性分布式事务&＃xff0c;且面向政企客户需求增强了安全特性&＃xff0c;例如&＃xff0c;一致性备份恢复、SQL闪回、SQL审计等。

PolarDB-X 2.0阶段

关键字&＃xff1a;透明分布式、开源
PolarDB-X 2.0是阿里巴巴分布式数据库有史以来最大幅度的版本更新。产品基于透明分布式理念提供了默认主键拆分策略、基于TSO和MVCC的高性能强一致分布式事务、基于一致性Hash分区策略的分布式线性扩展能力、全局一致性Binlog和全局一致性备份能力。数据节点(DN)采用阿里巴巴自研的基于X-Paxos的三副本强一致MySQL分支&＃xff0c;确保在容灾过程中RPO&＃61;0。

从Notify到RocketMQ

在五彩石项目中产生了阿里巴巴第一代消息引擎——Notify。在2010年的时候&＃xff0c;阿里巴巴B2B部门基于ActiveMQ的5.1版本也开发了自己的一款消息引擎&＃xff0c;称为Napoli&＃xff0c;这款消息引擎在B2B里面广泛地被使用&＃xff0c;不仅仅是在交易领域&＃xff0c;在很多的后台异步解耦等方面也得到了广泛的应用。在2011年的时候&＃xff0c;业界出现了现在被很多大数据领域所推崇的Kafka消息引擎&＃xff0c;阿里在研究了Kafka的整体机制和架构设计之后&＃xff0c;基于Kafka的设计使用Java进行了完全重写并推出了MetaQ 1.0版本&＃xff0c;主要是用于解决顺序消息和海量堆积的问题。而在2012年&＃xff0c;阿里对于MetaQ进行了架构重组升级&＃xff0c;开发出了MetaQ 2.0&＃xff0c;这时就发现MetaQ原本基于Kafka的架构在阿里巴巴如此庞大的体系下很难进行水平扩展&＃xff0c;所以在2012年的时候就开发了RocketMQ 3.0版本。很多人会问到RocketMQ 3.0和MetaQ 3.0的区别&＃xff0c;其实这两者是等价的版本&＃xff0c;只不过阿里内部使用的称为MetaQ 3.0&＃xff0c;外部开源称之为RocketMQ 3.0。在2015年&＃xff0c;又基于RocketMQ开发了阿里云上的Aliware MQ和Notify 3.0。在2016年的时候&＃xff0c;阿里巴巴将RocketMQ的内核引擎捐赠给了Apache基金会。

阿里中间件一览

服务框架-HSF&＃xff1a;
HSF旨在为阿里巴巴的应用提供一个分布式的服务框架&＃xff0c;HSF从分布式应用层面以及统一的发布/调用方式层面为大家提供支持&＃xff0c;从而可以很容易的开发分布式的应用以及提供或使用公用功能模块&＃xff0c;而不用考虑分布式领域中的各种细节技术&＃xff0c;例如远程通讯、性能损耗、调用的透明化、同步/异步调用方式的实现等等问题。

消息中间件-Notify&＃xff1a;
notify是一款高性能&＃xff0c;高可靠&＃xff0c;可无限水平扩展&＃xff0c;支持分布式事务&＃xff0c;支持复杂消息过滤的与互联网时代紧密结合的消息中间件&＃xff0c;是目前公司内部使用最广泛的一个消息中间件产品之一&＃xff0c;承担着公司内部90%以上消息服务。他使用推消息的模型&＃xff0c;集群可水平扩展&＃xff0c;但不保证顺序&＃xff0c;也不保证重复的消息中间件产品。

消息中间件-MetaQ&＃xff1a;
MetaQ是一款分布式、队列模型的消息中间件。分为Topic与Queue两种模式&＃xff0c;Push和Pull两种方式消费&＃xff0c;支持严格的消息顺序&＃xff0c;亿级别的堆积能力&＃xff0c;支持消息回溯和多个维度的消息查询。
开源介绍&＃xff1a;github.com/alibaba/roc…

软负载配置中心-Diamond&＃xff1a;
Diamond是一个持久配置管理中间件.可以实现分布式场景下&＃xff0c;中心化的持久配置管理&＃xff0c;同时也支持基于发布订阅模型配置动态变更推送.
开源介绍&＃xff1a;code.taobao.org/p/diamond/w…

鹰眼 - EagleEye&＃xff1a;
EagleEye &＃xff08;鹰眼&＃xff09;通过收集和分析在不同的网络调用中间件上的日志埋点&＃xff0c;可以得到同一次请求上的各个系统的调用链关系&＃xff0c;有助于梳理应用的请求入口与服务的调用来源、依赖关系&＃xff0c;同时&＃xff0c;也对分析系统调用瓶颈、估算链路容量、快速定位异常有很大帮助。另外&＃xff0c;业务方也可以在调用链上添加自己的业务埋点&＃xff0c;使网络调用和实际业务内容得到关联。联系人&＃xff1a;姬风&＃xff08;email:jifeng&＃64;taobao.com&＃xff09;

实时计算&＃xff1a;JStorm
项目简介&＃xff1a;JStorm是Storm的Java版本,使用Java重写的同时在其基础上进行了大幅度的改进与优化.与Hadoop对大数据进行离线全量处理相对应&＃xff0c;JStorm主要做的是对大数据的实时增量计算与流式计算.联系人&＃xff1a;纪君祥&＃xff08;email&＃xff1a;zhongyan.feng&＃64;alibaba-inc.com&＃xff09;

天枢 VipServer
通过集中式的配置向客户提供路由信息&＃xff0c;以非网关的形式实现负载均衡功能&＃xff1b;支持多种映射策略&＃xff08;轮询、轮询&＃43;同机房、轮询&＃43;同网段&＃xff09;&＃xff1b;通过健康探测机制&＃xff0c;自动剔除不健康的机器&＃xff0c;实现集群之间调用的透明化&＃xff1b;对调用量、调用方等数据也有一定程度的反馈.联系人&＃xff1a;玄胤&＃xff08;email&＃xff1a;xuanyin.zy&＃64;alibaba-inc.com&＃xff09;

注册中心 ConfigServer
ConfigServer主要提供非持久配置的发布和订阅。07/08年间在淘宝内部开发使用的时候&＃xff0c;由于ZooKeeper还没有开源&＃xff0c;不然可能会基于ZooKeeper来进行改造。主要使用场景是为分布式服务框架提供软负载功能所必须的服务地址列表。联系人&＃xff1a;慕义&＃xff08;email&＃xff1a;en.xuze&＃64;alipay.com&＃xff09;

服务框架- Pandora&＃xff1a;
Pandora&＃xff0c;中文名潘多拉&＃xff0c;是淘宝网中间件团队打造的&＃xff0c;基于HSF隔离技术构建的全新一代隔离容器。从解决二方包依赖冲突出发&＃xff0c;致力于统一管理通用的二方包&＃xff0c;包括方便的二方包升级管理&＃xff0c;监控和管理&＃xff0c;建立统一的二方包扩展编程方式等。联系人&＃xff1a;豫楚&＃xff08;email:peng.weip&＃64;alibaba-inc.com&＃xff09;

性能和稳定性平台-Hotspot&＃xff1a;
项目简介&＃xff1a;性能分析平台通过对基础软件、服务端、前端加载、网络、CDN等方面的性能分析&＃xff0c;来帮助阿里系统提升吞吐量、降低延迟时间、节约成本。
联系人&＃xff1a;叔同(email: shutong.dy&＃64;taobao.com&＃xff0c;新浪微博&＃xff1a;淘宝叔同)

项目名称&＃xff1a;TProfiler&＃xff1a;
项目简介&＃xff1a;TProfiler是可以在生产环境长期使用的性能分析工具&＃xff0c;通过在Java层面记录代码执行热点、对象创建热点等数据&＃xff0c;帮助系统定位性能瓶颈。
开源地址&＃xff1a;github.com/alibaba/TPr…
联系人新浪微博&＃xff1a;叔同(email: shutong.dy&＃64;taobao.com&＃xff0c;新浪微博&＃xff1a; 淘宝叔同)

参考链接

• 阿里-中间件团队博客
• 高可用可伸缩微服务架构
• https://github.com/stevenli91748/MicroService.git