热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如何扛住1.8亿/秒的双11数据洪峰?

今年的双11再次刷新了记录——支付成功峰值达25.6万笔秒、实时数据处理峰值4.72亿条秒。面对较去年增幅100%的数据洪峰,流计算技术可谓功不可没。今天,我们将揭开阿里流计算技术的神秘面

今年的双11再次刷新了记录——支付成功峰值达25.6万笔/秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰,流计算技术可谓功不可没。今天,我们将揭开阿里流计算技术的神秘面纱。

双11刚刚拉下帷幕,激动的心还停留在那一刻:

当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。

前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:

支付成功峰值达 25.6 万笔/秒
实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据、媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒! 想象下,1秒钟时间内千万人涌入双11会场的同时,依然应对自如。

流计算的产生即来源于数据加工时效性的严苛需求:

由于数据的业务价值会随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理,从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。

首先来展示今年(2017年)较去年(2016年)数据洪峰峰值的比较:

2016年:支付成功峰值12万笔/秒,总数据处理峰值9300万/秒

2017年:支付成功峰值25.6 万笔/秒,实时数据处理峰值 4.72亿条/秒,阿里巴巴集团数据公共层总数据处理峰值1.8亿/秒

在今年双11流量峰值翻翻的情况下,依然稳固做到实时数据更新频率:从第1秒千万剁手党涌入到下单付款,到完成实时计算投放至媒体大屏全路径,秒级响应。面对越发抬升的流量面前,实时数据却越来越快、越来越准。在hold住数据洪峰的背后,是阿里巴巴流计算技术的全面升级。

流计算应用场景

数据技术及产品部定位于阿里数据中台,除了离线数据外,其产出的实时数据也服务于集团内多个数据场景。包括今年(其实也是以往的任何一年)双11媒体大屏实时数据、面向商家的生意参谋实时数据,以及面向内部高管与小二的各种直播厅产品,覆盖整个阿里巴巴集团大数据事业部。

同时随着业务的不断发展壮大,到目前为止,日常实时处理峰值超4000万/s,每天总处理记录数已经达到万亿级别,总处理数据量也达到PB级别。

面对海量数据的实时数据我们成功做到了数据延迟控制在秒级范围内,在计算准确率上,已实现了高精准、0误差,达到精确处理。比如:今年的双11当天,双十一媒体屏第一条记录从交易表经过流计算计算处理到达媒体大屏秒级响应。

数据中台流计算实践中的数据链路

在经过最近几年大促数据洪峰的经历后,使得我们的流计算团队在引擎选择,优化性能以及开发流计算平台上都积累了丰富的经验。我们也形成了稳定高效的数据链路架构,下图是整个数据链路示意图:

业务数据的来源非常多,分别通过两个工具(DRC与中间件的logagent)实时获取增量数据,并且同步到DataHub(一种PubSub的服务)。

实时计算引擎Flink作业通过订阅这些增量数据进行实时处理,并且在经过ETL处理后把明细层再次回流到Datahub,所有的业务方都会去定义实时的数据进行多维度的聚合,汇总后的数据放在分布式数据库或者关系型数据库中(Hbase、Mysql),并通过公共的数据服务层产品(One Service)对外提供实时数据服务。

最近一年,我们在计算引擎和计算优化方面做了很多工作,实现了计算能力、开发效率的提升。

计算引擎升级及优化

在2017年,我们在实时计算架构上进行了全面的升级,从Storm迁移到Blink,并且在新技术架构上进行了非常多的优化,实时峰值处理能力提高了2倍以上,平稳的处理能力更是提高5倍以上:

优化状态管理
实时计算过程中会产生大量的state,以前是存储在HBase,现在会存储在RocksDB中,本地存储减少了网络开销,能够大幅提高性能,可以满足细粒度的数据统计(现在key的个数可以提升到亿级别了,是不是棒棒哒~)

优化checkpoint(快照/检查点)和compaction(合并)
state会随着时间的流转,会越来越大,如果每次都做全量checkpoint的话,对网络和磁盘的压力非常大;所以针对数据统计的场景,通过优化rocksdb的配置,使用增量checkpoint等手段,可以大幅降低网络传输和磁盘读写。

异步Sink
把sink改成异步的形式,可以最大限度提高CPU利用率,可以大幅提供TPS。

抽象公共组件

除了引擎层面的优化,数据中台也针对性地基于Blink开发了自己的聚合组件(目前所有实时公共层线上任务都是通过该组件实现)。该组件提供了数据统计中常用的功能,把拓扑结构和业务逻辑抽象成了一个json文件。这样只需要在json文件中通过参数来控制,实现开发配置化,大幅降低了开发门槛,缩短开发周期——再来举个栗子:之前我们来做开发工作量为10人/日,现在因为组件化已让工作量降低为0.5人/日,无论对需求方还是开发方来讲都是好消息,同时归一的组件提升了作业性能。

按照上述思路及功能沉淀,最终打磨出了流计算开发平台【赤兔】。

该平台通过简单的“托拉拽”形式生成实时任务,不需要写一行代码,提供了常规的数据统计组件,并集成元数据管理、报表系统打通等功能。作为支撑集团实时计算业务的团队,我们在经过历年双11的真枪实弹后沉淀的[赤兔平台]中独有的功能也成为它独一无二的亮点:

一、大小维度合并

比如很多的实时统计作业同时需要做天粒度与小时粒度的计算,之前是通过两个任务分开计算的,聚合组件会把这些任务进行合并,并且中间状态进行共用,减少网络传输50%以上,同时也会精简计算逻辑,节省CPU。

二、精简存储

对于存储在RocksDB的Keyvalue,我们设计了一个利用索引的encoding机制,有效地将state存储减少一半以上,这个优化能有效降低网络、cpu、磁盘的压力。

三、高性能排序

排序是实时中非常常见的一个场景, top组件利用内存中PriorityQueue(优先队列) 和blink中新的MapState feature(中间状态管理特性),大幅减少序列化次数,性能提高10倍左右。

四、批量传输和写操作

最终写结果表HBase和Datahub时,如果每处理一条记录都去写库的话,就会很大限制我们的吞吐。我们组件通过时间触发或者记录数触发的机制(timer功能),实现批量传输和批量写(mini-batch sink),并且可以根据业务延时要求进行灵活配置,提高任务吞吐的同时,也降低了服务端压力。

数据保障

对于高优先级应用(每天24小时不间断服务),需要做到跨机房容灾,当某条链路出现问题时,能够秒级切换到其他链路,下图是整个实时公共层的链路保障架构图:

从数据采集、数据同步、数据计算、数据存储、数据服务,整条链路都是独立的。通过在Oneservice中的动态配置,能够实现链路切换,保障数据服务不终端。

上面内容就是保障今年双11流量洪峰的流计算技术秘密武器——我们不仅在于创新更希望能沉淀下来复用、优化技术到日常。

随着流计算的技术外界也在不停更迭,后续基于阿里丰富业务场景下我们还会不断优化升级流计算技术:

平台化,服务化,Stream Processing as a service
语义层的统一,Apache Beam,Flink 的Table API,以及最终Stream SQL都是非常热的project
实时智能,时下很火的深度学习或许未来会与流计算碰撞产生火花
实时离线的统一,这个也是很大的趋势,相较于现在普遍存在的实时一套,离线一套的做法,实时离线的统一也是各大引擎努力想要达到的。


推荐阅读
  • Spring Boot 中配置全局文件上传路径并实现文件上传功能
    本文介绍如何在 Spring Boot 项目中配置全局文件上传路径,并通过读取配置项实现文件上传功能。通过这种方式,可以更好地管理和维护文件路径。 ... [详细]
  • 零拷贝技术是提高I/O性能的重要手段,常用于Java NIO、Netty、Kafka等框架中。本文将详细解析零拷贝技术的原理及其应用。 ... [详细]
  • 单片微机原理P3:80C51外部拓展系统
      外部拓展其实是个相对来说很好玩的章节,可以真正开始用单片机写程序了,比较重要的是外部存储器拓展,81C55拓展,矩阵键盘,动态显示,DAC和ADC。0.IO接口电路概念与存 ... [详细]
  • Spark与HBase结合处理大规模流量数据结构设计
    本文将详细介绍如何利用Spark和HBase进行大规模流量数据的分析与处理,包括数据结构的设计和优化方法。 ... [详细]
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • MySQL 5.7 学习指南:SQLyog 中的主键、列属性和数据类型
    本文介绍了 MySQL 5.7 中主键(Primary Key)和自增(Auto-Increment)的概念,以及如何在 SQLyog 中设置这些属性。同时,还探讨了数据类型的分类和选择,以及列属性的设置方法。 ... [详细]
  • Java高并发与多线程(二):线程的实现方式详解
    本文将深入探讨Java中线程的三种主要实现方式,包括继承Thread类、实现Runnable接口和实现Callable接口,并分析它们之间的异同及其应用场景。 ... [详细]
  • 如何在Java中使用DButils类
    这期内容当中小编将会给大家带来有关如何在Java中使用DButils类,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。D ... [详细]
  • 本文详细介绍了 PHP 中对象的生命周期、内存管理和魔术方法的使用,包括对象的自动销毁、析构函数的作用以及各种魔术方法的具体应用场景。 ... [详细]
  • 开机自启动的几种方式
    0x01快速自启动目录快速启动目录自启动方式源于Windows中的一个目录,这个目录一般叫启动或者Startup。位于该目录下的PE文件会在开机后进行自启动 ... [详细]
  • 本文总结了一些开发中常见的问题及其解决方案,包括特性过滤器的使用、NuGet程序集版本冲突、线程存储、溢出检查、ThreadPool的最大线程数设置、Redis使用中的问题以及Task.Result和Task.GetAwaiter().GetResult()的区别。 ... [详细]
  • 单片机入门指南:基础理论与实践
    本文介绍了单片机的基础知识及其应用。单片机是一种将微处理器(类似于CPU)、存储器(类似硬盘和内存)以及多种输入输出接口集成在一块硅片上的微型计算机系统。通过详细解析其内部结构和功能,帮助初学者快速掌握单片机的基本原理和实际操作方法。 ... [详细]
  • 未定义的打字稿记录:探索其成因与解决方案 ... [详细]
  • 本文是Java并发编程系列的开篇之作,将详细解析Java 1.5及以上版本中提供的并发工具。文章假设读者已经具备同步和易失性关键字的基本知识,重点介绍信号量机制的内部工作原理及其在实际开发中的应用。 ... [详细]
  • 在《Cocos2d-x学习笔记:基础概念解析与内存管理机制深入探讨》中,详细介绍了Cocos2d-x的基础概念,并深入分析了其内存管理机制。特别是针对Boost库引入的智能指针管理方法进行了详细的讲解,例如在处理鱼的运动过程中,可以通过编写自定义函数来动态计算角度变化,利用CallFunc回调机制实现高效的游戏逻辑控制。此外,文章还探讨了如何通过智能指针优化资源管理和避免内存泄漏,为开发者提供了实用的编程技巧和最佳实践。 ... [详细]
author-avatar
瑶看瀑布挂前川
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有