【SDCC讲师专访】阿里巴巴冯嘉：RocketMQ开源二三事，侦破万亿级数据容量背后的架构实践...

【编者按】每个人的成长曲线不同&＃xff0c;有的人在研究生之时就已有相当知名的产品和框架&＃xff0c;从而在接下来的工作中一路顺风顺水&＃xff0c;有的人缺需要经历一个又一个的坑才能成长&＃xff0c;不管是前者的聪明高效&＃xff0c;还是后者的笨鸟先飞&＃xff0c;他们都是在迈着脚步不断地向前。不妨&＃xff0c;我们停下脚步看下一些同行&＃xff0c;以激励自己更好地前行。CSDN与你相约SDCC 2017·深圳站讲师。

2017年6月10-11日&＃xff0c;SDCC 2017将在创新之都深圳火热开启。据悉&＃xff0c;阿里巴巴中间件架构师冯嘉将在SDCC 2017·深圳站之互联网应用架构实战峰会带来题为《万亿级消息引擎架构、核心技术与最佳实践-Apache RocketMQ》的分享&＃xff0c;更多峰会嘉宾和议题请点击这里。

以下为正文&＃xff1a;

【嘉宾】冯嘉&＃xff0c;阿里巴巴中间件架构师&＃xff0c;具有丰富的分布式软件架构、高并发网站设计、性能调优经验&＃xff0c;拥有多项分布式、推荐领域的专利。开源爱好者&＃xff0c;关注分布式、云计算、大数据领域。目前主要负责阿里巴巴消息中间件生态输出、MQ商业化 &＃xff0c;Apache RocketMQ联合创始人&＃xff0c;社区布道者。


CSDN&＃xff1a;请先和大家介绍下您和目前所从事的工作&＃xff0c;以及关注哪些技术领域&＃xff1f;

冯嘉&＃xff1a;大家好&＃xff0c;我叫冯嘉&＃xff0c;10年毕业后进入阿里巴巴&＃xff0c;先后负责过交易线的核心业务系统、Feeds系统、性能侦测平台、消息推送平台等。多年来一直致力于分布式、网站架构、全栈性能优化领域的研究与改进工作&＃xff0c;最近开始关注大数据相关技术栈。目前主要负责阿里巴巴消息引擎RocketMQ的架构设计及其改进&＃xff0c;同时也是Aliware MQ&＃xff08;RocketMQ商业版&＃xff09;&＃xff0c;Apache RocketMQ社区负责人。

CSDN&＃xff1a;您对架构是怎样的理解&＃xff1f;以及您对于架构师是如何定义的&＃xff1f;包括其能力与职责。

冯嘉&＃xff1a;我个人喜欢把架构分解为宏架构与微架构。宏架构可以理解为传统意义上的架构&＃xff0c;强调高屋建瓴&＃xff0c;全局视野&＃xff0c;在重视功能特性的同时又不忽略非功能属性&＃xff0c;如容错、安全、性能、可维护性、可扩展性、可运维性等&＃xff0c;随着时间的推移、数据体量的陡增会不断演化。而微观架构是介于设计和实现之间的一种抽象思考&＃xff0c;模式提炼。如测试驱动架构、Metrics驱动架构、IO编程模型、模型生命周期管理、API与SPI设计、重演与追溯、Backoff设计、流控设计、资源优雅释放模型、Reactive编程模型、资源Lookup模型、依赖管理模型等等。微架构的展开需要相当的篇幅&＃xff0c;后面有机会会和大家一一分享。软件架构师不仅能够使用全局视野&＃xff0c;对软件进行全屋勾勒&＃xff0c;更需要具备很强的微架构能力&＃xff0c;为软件落地过程中的关键部位把关诊脉&＃xff0c;而这种综合能力也是我一直在团队里提倡的。

CSDN&＃xff1a;2016年11月&＃xff0c;阿里将RocketMQ捐献给Apache软件基金会&＃xff0c;正式成为孵化项目&＃xff0c;「开源」的初衷是什么&＃xff1f;在「开源」的过程中有哪些让您印象深刻的事件&＃xff1f;

冯嘉&＃xff1a;捐赠的初衷&＃xff0c;其实我在另一篇文章里面有经提及过。我们希望能为世界展示我们有能力设计出一款自主知识产权的具有世界级影响力的分布式产品。RocketMQ开源5年来&＃xff0c;一直未停止对整个引擎的优化与升级。正是通过这么多年来的坚持&＃xff0c;我们才有了站在Apache的机会。团队也非常珍惜这个与世界强手过招的机会&＃xff0c;像开源领域的顶级会议&＃xff08;ApacheCon和OSCon&＃xff09;&＃xff0c;我们都会派同学去参加&＃xff0c;分享我们的研发经验&＃xff0c;同时也能带回来非常有意思的Idea&＃xff0c;反哺我们的产品。

至于开源过程中印象深刻的事情&＃xff0c;确实有不少。像在国内&＃xff0c;很多同学还是比较倾向于伸手主义&＃xff0c;这个我在社区也多次强调过。Apache RocketMQ&＃xff0c;应该说所有开源软件项目几乎不存在全职的Committer&＃xff0c;分享知识本是一件很快乐的事情&＃xff0c;但有时候我们的用户灰常喜欢提一些“过份”的要求&＃xff0c;这样的声音在社区里多了&＃xff0c;对整个社区的健康发展非常不好。像在Apache&＃xff0c;因为考虑到时区&＃xff0c;考虑到隐私&＃xff0c;通常都是通过异步的邮件进行沟通&＃xff0c;这种形式存在了有18年了&＃xff0c;我相信一定有它的合理性。而目前&＃xff0c;我们也在大力提倡国内社区的同学向这方面靠拢&＃xff0c;如果你遇到问题&＃xff0c;能够通过这种方式反馈&＃xff0c;我相信社区里还是有很多热心的同学很乐意帮助解答的。至于其他好玩的事情&＃xff0c;后面有机会再和大家分享。

CSDN&＃xff1a;Apache基金会中的342个项目中&＃xff0c;暂时还只有Kylin、CarbonData、Eagle和RocketMQ共计四个中国技术人主导的项目&＃xff0c;对此您怎么看&＃xff1f;您认为驱动「开源」最重要的因素是&＃xff1f;

冯嘉&＃xff1a;说实话&＃xff0c;我个人其实不太喜欢听到“由中国人主导”这样的字样&＃xff0c;我希望大家不管做什么事情&＃xff0c;都要把握一个度&＃xff0c;不卑不亢。2016年11月&＃xff0c;阿里将RocketMQ捐献给Apache软件基金会&＃xff0c;正式成为孵化项目&＃xff0c;对我们来说这是一大步&＃xff0c;因为加入到Apache开源软件基金会需要经过评审方的严格考核与观察。这既是一种荣誉&＃xff0c;又是一种压力。RocketMQ开源至今有五年历史&＃xff0c;伴随着阿里巴巴的业务体量不断攀登&＃xff0c;其架构也做了一次又一次的优化与升级。我们希望打造全球一流的产品&＃xff0c;为此团队这几年不断深耕细作&＃xff0c;进入Apache对我们来说是一个很好的开始&＃xff0c;在Apache严谨且专业的开源理念熏陶下&＃xff0c;我们相信RocketMQ能够发展得越来越好。在全球最享有声望的开源基金会上&＃xff0c;相信也会有更多的由中国人捐赠的产品受益全球。

开源是IT技术快速发展的重要引擎&＃xff0c;正是开源的共享和协同文化&＃xff0c;促进了互联网、大数据、物联网、移动化信息技术的迅猛发展。提供“免费的产品”能够让大家进行初始的评估&＃xff0c;而一旦确定用户对该产品的必然需求后&＃xff0c;往往会通过一款增强版的付费产品来接近客户。这通常比传道士式的营销策略要有效得多。从这个角度来说&＃xff0c;驱动开源向前发展的最重要的因素是商业化。如果你依赖的开源软件&＃xff0c;过了一年作者不再维护了&＃xff0c;企业用户就会有很大的损失。而且商业支持一般会解锁更多的功能&＃xff0c;并且出了问题都有及时的解决。这一点最典型的成功案例当属Linux与MySQL。而这一开源商业化模式也被越来越多的互联网、云计算公司采纳&＃xff0c;如Kafka背后的confluent、RabbitMQ背后的pivotal、Hadoop背后的Cloudera、Hortonworks与MAPR。以及最近闹得沸沸扬扬的Docker。

CSDN&＃xff1a;使用RocketMQ技术的阿里目前可以在双十一当天承受万亿级消息容量&＃xff0c;能否简单分享下其目前的架构及主要解决的问题特点&＃xff1f;

冯嘉&＃xff1a; RocketMQ主要由NameServer、Broker、Producer以及Consumer四部分构成。其中NameServer以轻量级的方式提供服务发现和路由功能&＃xff0c;每个NameServer存有全量的路由信息&＃xff0c;提供对等的读写服务&＃xff0c;支持快速扩缩容。Broker负责消息存储&＃xff0c;以Topic为纬度支持轻量级的队列&＃xff0c;单机可以支撑上万队列规模&＃xff0c;支持消息推拉模型&＃xff0c;具备多副本容错机制&＃xff08;2副本或3副本&＃xff09;、强大的削峰填谷以及上亿级消息堆积能力&＃xff0c;同时可严格保证消息的有序性。除此之外&＃xff0c;Broker还提供了同城异地容灾能力&＃xff0c;丰富的Metrics统计以及告警机制。Producer和Consumer以SDK形式提供&＃xff0c;由用户进行分布式部署&＃xff0c;消息由Producer通过多种负载均衡模式发送到Broker集群&＃xff0c;支持Batch发送、oneway发送。发送低延时&＃xff0c;支持快速失败。Consumer支持PUSH和PULL两种消费模式&＃xff0c;支持集群消费和广播消息&＃xff0c;提供实时的消息订阅机制&＃xff0c;目前不支持Exactly once语义&＃xff0c;所以需要用户自己做好判重处理。

RocketMQ目前主要主要用在金融领域的交易链路、数据同步&＃xff08;如MySQL binlog解析订阅&＃xff09;、日志分发、异构系统交互、异步解耦与流计算领域。我们希望RocketMQ能够在互联网、金融、物联网、大数据领域遍地开花、深耕细作。这个也是下一代RocketMQ&＃xff08;第四代&＃xff09;主要演进的方向。

CSDN&＃xff1a;与其他消息中间件的对比&＃xff0c;RocketMQ的特点是&＃xff1f;

冯嘉&＃xff1a;与其他MQ产品想比&＃xff0c;RocketMQ最大优势在于它经历了历年双十一的高并发&＃xff0c;海量数据&＃xff08;去年双十一是万亿级&＃xff09;的洗礼和积甸&＃xff0c;愈发可靠和稳定。在功能特性层面&＃xff0c;我们觉得它最大的亮点在于大数据流量下依然能够保证出色的低延迟&＃xff0c;能够支撑海量消息堆积&＃xff0c;全局保序。当然&＃xff0c;今年我们会陆续推出一系列更靓的特性&＃xff0c;如支持海量消息的延迟投递、分布式事务、分级的消息去重、物联网套件&＃xff0c;甚至还包括Stream特性。也非常希望这方面的专家同学能够加入我们&＃xff0c;帮助我们一同打造全球最具影响力的分布式产品。

CSDN&＃xff1a;您最期待在SDCC 2017·深圳站大会上看到哪些内容&＃xff1f;

冯嘉&＃xff1a;非常期待深圳大会能够有更多的外籍同行来分享他们的互联网架构实战经验&＃xff0c;也非常期望能够看到更多的分布式架构与实践、性能优化方面的精彩分享。深圳站不见不散&＃xff0c;让我们。

SDCC 2017•深圳站将于2017年6月10-11日登陆深圳&＃xff0c;拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会&＃xff0c;秉承干货实料的内容原则&＃xff0c;汇聚业内顶尖架构师和数据技术专家&＃xff0c;共话架构、大数据热点话题&＃xff0c;深度解析技术难点和落地思考&＃xff0c;带你高台起步&＃xff0c;走近技术圈的浮生万象。八折抢票通道倒计时最后4天&＃xff0c;票务火爆&＃xff0c;欲购从速&＃xff0c;详情点击注册参会。