我们知道CDN护航了双11十年，却不知道背后有那么多故事

2019独角兽企业重金招聘Python工程师标准>>>

摘要&＃xff1a; 一路走来&＃xff0c;文景也曾疑惑过&＃xff1a;为什么我们不能把活动的时间跨度拉长到3天&＃xff0c;或者1周呢&＃xff1f;那样我们或许就不必冒着如此大的风险&＃xff0c;承受日常峰值是10倍以上的压力啊&＃xff01;然而当他走到现在才深刻的体会到&＃xff0c;正是因为这集中爆发的、一次又一次的业务洪峰&＃xff0c;在拉着技术往前狂奔&＃xff0c;这才铸就了今天这支能战能胜的技术团队&＃xff0c;技术应该感谢业务...

情不知如何而起&＃xff0c;竟一往情深。
恰如我们。
十年前&＃xff0c;因为相信&＃xff0c;所以看见。
十年后&＃xff0c;就在眼前&＃xff0c;看见一切。

当2018天猫双11成交额2135亿元的大屏上&＃xff0c;打出这么一段字的时候&＃xff0c;参与双11护航的阿里云CDN技术掌舵人姚伟斌&＃xff08;文景&＃xff09;&＃xff0c;心中涌起一丝莫名的触动。

CDN是最早参与天猫双11的技术之一&＃xff0c;伴随双11走了十年&＃xff0c;回首十载春秋&＃xff0c;无论是业务规模、技术架构&＃xff0c;还是这些幕后的工程师们&＃xff0c;都发生了翻天覆地的变化。他们的故事虽不如《阿里云这群疯子》一文中那般精彩&＃xff0c;但也值得铭记&＃xff01;

技术掌舵人文景&＃xff1a;双11是技术小二最重要的事&＃xff01;

11月11日00&＃xff1a;19分&＃xff0c;文景看到作战室的小伙伴们在轻松地交谈后&＃xff0c;他知道双11的流量洪峰已经平稳地渡过了&＃xff0c;他开始刷起了淘宝&＃xff0c;他在为24小时后的结束仪式采购龙虾。

不同于往年在光明顶&＃xff08;双11作战总指挥室&＃xff09;的忐忑和亢奋&＃xff0c;今年文景团队100多名作战成员多了一份从容和镇定&＃xff0c;他们分布在不同的办公地&＃xff0c;五地在线协同作战。在文景看来&＃xff0c;这些年&＃xff0c;业务倒逼了技术发展&＃xff0c;推动了个人成长。十年双11磨出来的稳定的系统、成熟的作战方案、默契的团队配合&＃xff0c;都是这个团队一路走来&＃xff0c;身上的不可磨灭烙印。

&＃xff08;文景在双11会场选购宝贝&＃xff09;

作为CDN技术掌舵人&＃xff0c;虽然文景不是团队中最“老”的同学&＃xff0c;但他却历经了淘宝业务飞速发展的几年&＃xff0c;见证了从最初服务淘宝和集团内部的CDN&＃xff0c;到如今国内服务客户最多的云CDN的每一步技术蜕变。

读书时期的文景是个非常“爱折腾“的学生&＃xff0c;去女生宿舍帮忙调通网络&＃xff0c;跟着导师接系统开发的“私活”&＃xff0c;相对于从书本上汲取营养&＃xff0c;他更偏爱从项目锤炼中获取知识。慢慢地&＃xff0c;他接触到了嵌入式开发、无线传感网络、Linux、Nginx、Squid&＃xff0c;向服务端开发转型。而真正让他感受到作为一个工程师的技术价值感的&＃xff0c;是在做开源以后。“当时写了很多开源模块&＃xff0c;有一些在Github上有了上千的STAR&＃xff0c;我写的代码能帮到成千上万的开发者&＃xff0c;甚至有国外的开发者会给我写感谢信&＃xff0c;这不仅让技术得到提升&＃xff0c;也给了我十分强烈的认同感&＃xff0c;也是因为开源&＃xff0c;让阿里看到了我。”在加入阿里后&＃xff0c;文景负责的Tengine&＃xff0c;曾一度跻身全球第十的WebServer。

很幸运&＃xff0c;加入阿里的第一年他就赶上了双11。对于当时的淘宝技术人来说&＃xff0c;双11是每年最最重要的事情。“对我们来说&＃xff0c;最关键的就是在零点那一刻&＃xff0c;系统要扛住&＃xff0c;降级的措施越少越好“。文景回忆到&＃xff0c;当时的技术原则&＃xff1a;第一是要对业务有预估&＃xff0c;几千万人同时并发的QPS是多少&＃xff0c;系统能不能支持&＃xff1b;第二&＃xff0c;要做技术预案&＃xff0c;所有依赖系统的容量是多少&＃xff0c;一旦出了问题后的应对方案。”经过头几年双11考验后&＃xff0c;系统逐渐具备了在极限的情况下也能正常运行的能力&＃xff0c;在高性能、稳定方面有很大提升。到后来&＃xff0c;我们技术能力已经远超当年秒杀的规模&＃xff0c;当前的技术架构已经足以支撑&＃xff0c;所有的技术人这才安心了。“

启航&＃xff1a;从新手上路到一路狂奔

高级技术专家李克&＃xff08;空见&＃xff09;参与了整整十年的双11&＃xff0c;现在谈起2009年的那个冬天&＃xff0c;恍如昨日。“大家都是新手&＃xff0c;该怎么准备、怎么配合&＃xff0c;基本都是摸着石头过河&＃xff0c;CDN当时采用的是硬件方案&＃xff0c;性能和灵活性还有很大的限制。谁也没想到电商的业务发展的速度如此惊人&＃xff0c;我们的一部分节点水位基本都跑在崩溃的边缘&＃xff0c;当时真的是靠几个运维值班同学人工处理的方式撑了过来。”也就是在那年双11之后&＃xff0c;淘宝核心系统部门宣布成立&＃xff0c;将自研CDN提上了日程。

&＃xff08;空见在双11护航现场与“战友们”讨论&＃xff09;

当然&＃xff0c;技术的积淀并不是一蹴而就。空见回忆道&＃xff1a;每年我们都会预测第二年的峰值&＃xff0c;但是每次都低估了电商的爆炸式增长。在这种高强度的业务压力下&＃xff0c;基本上所有的瓶颈都会被我们遇到&＃xff0c;内存、CPU、IO、网络&＃xff0c;来来回回做了很多轮软件优化和节点架构升级。比如针对负载过高&＃xff0c;增加前后端长连接机制&＃xff0c;使得每个连接可以服务多个请求。为了降低IO开销&＃xff0c;使用一致性HASH策略&＃xff0c;将多个机器的磁盘统一使用。在单机上采取内存->SSD->SATA的多层存储策略&＃xff0c;动态进行冷热资源的迁移&＃xff0c;提升磁盘效率。为了应对峰值压力&＃xff0c;我们会提前准备业务锁量、节点压测、降级预案、采购临时带宽等多种措施。在我们的监控和数据还不完善的那个年代&＃xff0c;双十一就靠每个人打开多个终端&＃xff0c;盯着一批节点&＃xff0c;一旦发现机器负载过高&＃xff0c;立马进行人工干预。

就是这样&＃xff0c;团队靠着盯屏&＃43;人工操作&＃xff0c;艰难撑过前几年&＃xff0c;CDN架构不断定制、优化&＃xff0c;团队的技术实力一直在重重挑战之中不断攀升。

转眼来到了2012年&＃xff0c;文景认为这一年对CDN非常关键&＃xff1a;“第一&＃xff0c;我们决定不再采用外部的商用CDN&＃xff0c;因为我们发现淘宝的流量&＃xff0c;商用CDN是不足以支撑的。原因是淘宝是中国第一个图片这么多的网站&＃xff0c;当时的SSD机器还没有这么流行&＃xff0c;大部分的CDN厂商还在用SATA的机器&＃xff0c;遇到数据量激增的时候&＃xff0c;它的IOPS跑不起来&＃xff0c;节点立刻会IOB挂掉。第二&＃xff0c;当大部分CDN厂商都在用千兆机器&＃xff0c;淘宝CDN已经在用万兆机器&＃xff0c;我们是中国第一个使用全SSD机器的厂商&＃xff0c;并且完成了40G的节点。当时的技术架构是非常领先的。”

演进&＃xff1a;机遇和挑战并存的日子里

2013年&＃xff0c;随着CDN能力的增强&＃xff0c;很多业务已经开始使用CDN&＃xff0c;比如秒杀、红包、详情页等&＃xff0c;CDN能够offload大量的请求和带宽&＃xff0c;避免源站能力不足带来的服务不可用。空见说到&＃xff1a;这一年我们在技术上实现静态化和数据化&＃xff0c;通过动静分离&＃xff0c;抽象出来静态内容&＃xff0c;缓存在CDN上&＃xff0c;动态部分通过ESI回源异步获取。静态化改造之后&＃xff0c;双11扛住了数十倍的业务峰值流量。

在内部业务越来越丰富的同时&＃xff0c;CDN的数据化也开始有了产出&＃xff0c;第一版的数据平台能够针对每个域名进行统计&＃xff0c;提供节点、区域、运营商维度的五分钟粒度数据&＃xff0c;包含业务数据&＃xff0c;如命中率、带宽、QPS等&＃xff0c;监控数据&＃xff0c;如RTT、丢包率等。CDN告别了大锅饭时代&＃xff0c;开始了精细化的运营&＃xff0c;这也为后面CDN商业化提供了基础。

直到2014年&＃xff0c;CDN不仅支持集团内部双11&＃xff0c;也开始服务外部客户。空见很清楚地记得&＃xff0c;在这年双11&＃xff0c;团队内部搞起了流量竞猜&＃xff0c;工程师们为此设计了一个预测系统&＃xff0c;通过每年双十一的历史数据&＃xff0c;以及各业务线的预估和实际情况&＃xff0c;实时预测晚高峰流量&＃xff0c;用来及时调整资源&＃xff0c;比如当天上午11点就准确出来晚上高峰在多少T。

2015年对CDN团队来说也同样意义非凡&＃xff0c;因为那一年他们险些背了3.25。

当时淘宝上了全站HTTPS&＃xff0c;而由于前期压测、对新业务的评估没有做到位&＃xff0c;全站HTTPS带来的计算开销导致CPU、内存都开始成为瓶颈。“当双11开始后&＃xff0c;别人都在为数据再创新高而欢呼&＃xff0c;我们团队的工程师却眼睁睁的看着线上节点内存被打爆&＃xff0c;不停重启&＃xff0c;当时我在客户现场驻场&＃xff0c;真的连死的心都有了。”文景回忆到。

当时的CDN团队已经到了阿里云&＃xff0c;经常全中国到处跑&＃xff0c;深入客户现场&＃xff0c;贴身服务&＃xff0c;整个团队的工作重心不再仅仅是为双11做方案和保障。“我们从纯碎的技术人&＃xff0c;变成了需要有商业思维的架构师&＃xff0c;用CDN这个产品帮助客户去解决问题。也正是因为如此&＃xff0c;这次的经历给我们敲响了警钟&＃xff0c;后面每当新业务诞生的时候&＃xff0c;我们都做足了充分的预案&＃xff0c;坚决避免再次重现&＃xff0c;更绝不容许这种情况出现在客户身上。”

&＃xff08;CDN团队2017双11合影左三空见右三士豪右六文景 &＃xff09;

在2016年&＃xff0c;新兴的直播、短视频业务发展迅速&＃xff0c;带宽增速非常快&＃xff0c;高级技术专家周哲&＃xff08;士豪&＃xff09;认为&＃xff0c;团队在经历过数年双11的大考之后&＃xff0c;已经开发出高性能、低延时、稳定的缓存系统&＃xff0c;我们有能力服务好这么大规模的图片业务&＃xff0c;视频业务当然也不再话下。

“但是真正当有大规模的视频点播业务上来之后&＃xff0c;我才认识到对视频点播场景理解不足。视频点播对首屏、卡顿体验&＃xff0c;以及对整体命中率和回源保护有更高的要求。于是&＃xff0c;我们就通过对整个系统完善全链路监控、基于用户体验的调度、提高整体缓存命中率、TCP协议栈优化&＃xff0c;来提高视频播放体验。”

原本专注网络的CDN团队&＃xff0c;拉上了兄弟团队&＃xff0c;搞了小半年的技术攻坚&＃xff0c;打磨出了直播全链路保障的方案。这套方案也成功应用在了天猫双11晚会上&＃xff0c;空见还记得在2016年团队在护航天猫双11晚会时&＃xff0c;当TFBoy出现在屏幕上&＃xff0c;带宽直接飙升好几倍&＃xff0c;“这也是我第一次见识到了小鲜肉的威力&＃xff01;”

与此同时&＃xff0c;优酷加入了阿里大家庭&＃xff0c;这给CDN带来了很多大文件加速、视频加速的业务场景&＃xff0c;让整个团队的资源建设和技术水平得到了补充。在技术层面&＃xff0c;也加强了CDN团队对视频业务场景的理解&＃xff0c;完善视频格式实时转封装、全网防盗链、内容版权保护、P2P等相关技术。

从2017年开始&＃xff0c;阿里云CDN走上国际化之路&＃xff0c;进行大规模海外节点的建设&＃xff0c;以满足国内用户出海加速和海外用户加速的需求。与此同时&＃xff0c;在经过了2018俄罗斯世界杯、春晚等多次重大活动的洗礼&＃xff0c;CDN的团队规模、客户规模、技术实力一齐进阶&＃xff0c;整个系统的自动化、智能化、精细化程度与服务能力全面加码&＃xff0c;这支能战能胜的团队再次面对双11的时候&＃xff0c;已然非常自信从容。

如今&＃xff1a;程序员们一起“剁手”度过双11

有了十年的积累沉淀&＃xff0c;文景觉得今年双11可以说是丰收的一年。

CDN团队主要支撑了电商和猫晚&＃xff0c;整个过程可以说是如丝般顺滑&＃xff0c;零故障零卡顿。同时&＃xff0c;猫晚直播提供了超高清、高帧率的4K视频&＃xff0c;通过频实时处理、转码向全网直播&＃xff0c;窄带高清技术能够进一步提升画质&＃xff0c;让网友们过足了眼瘾。

CDN为优酷2500万用户提供的视频分发&＃xff0c;整个平台的QPS也突破历史峰值。整个服务过程中依赖全链路质量监控、智能自动化调度&＃xff0c;值班人员只需要关注数据大盘就能掌控全局了。

在今年双11期间&＃xff0c;文景所在的团队也为Lazada提供电商CDN加速保障&＃xff0c;同时结合直播解决方案帮助Lazada把双11晚会推送到泰国、马来西亚&＃xff0c;和东南亚人一起狂欢双11。

空见半玩笑半自豪地说&＃xff1a;“以前奢望地喝喝茶、购购物过双11的梦想在今年终于实现了&＃xff0c;2135亿里也有我们值班人员的一份贡献。”

&＃xff08;零点洪峰平稳渡过后&＃xff0c;程序员们终于有心思买买买了&＃xff09;

一路走来&＃xff0c;文景也曾疑惑过&＃xff1a;为什么我们不能把活动的时间跨度拉长到3天&＃xff0c;或者1周呢&＃xff1f;那样我们或许就不必冒着如此大的风险&＃xff0c;承受日常峰值是10倍以上的压力啊&＃xff01;然而当他走到现在才深刻的体会到&＃xff0c;正是因为这集中爆发的、一次又一次的业务洪峰&＃xff0c;在拉着技术往前狂奔&＃xff0c;这才铸就了今天这支能战能胜的技术团队&＃xff0c;技术应该感谢业务&＃xff01;

十年双11&＃xff0c;就如同一部浩浩荡荡的阿里技术发展史。CDN就这样用它独有的起伏&＃xff0c;添上了浓墨重彩的一笔。期待下一个十年&＃xff0c;我们继续一路相随。