【SDCC讲师专访】饿了么毕洪宇：小析饿了么大数据平台从无到有到优的架构探索三味境...

【编者按】每个人的成长曲线不同&＃xff0c;有的人在研究生之时就已有相当知名的产品和框架&＃xff0c;从而在接下来的工作中一路顺风顺水&＃xff0c;有的人缺需要经历一个又一个的坑才能成长&＃xff0c;不管是前者的聪明高效&＃xff0c;还是后者的笨鸟先飞&＃xff0c;他们都是在迈着脚步不断地向前。不妨停下脚步看下一些同行&＃xff0c;以激励自己更好地前行。CSDN与你相约SDCC 2017·深圳站讲师。

2017年6月10-11日&＃xff0c;SDCC 2017将在创新之都深圳火热开启。据悉&＃xff0c;饿了么大数据平台部总监毕洪宇将在SDCC 2017·深圳站之大数据技术实战峰会带来题为《饿了么大数据平台的工具链、技术选型及架构设计》的分享。更多峰会嘉宾和议题请点击官网。

以下为正文&＃xff1a;

【嘉宾】毕洪宇&＃xff0c;饿了么大数据平台部总监。曾在eBay&＃xff0c;PPTV任职DBA。2012年加入唯品会&＃xff0c;依次经历从0到1参与数据库基础建设、大数据基础平台和实时计算平台的工作&＃xff1b;2016年加入饿了么负责大数据基础架构&＃xff0c;主要负责数据平台工具链及数据仓库。


CSDN&＃xff1a;请先介绍下自己和目前工作的重点&＃xff0c;以及关注哪些技术领域&＃xff1f;

毕洪宇&＃xff1a;我是饿了么大数据平台的负责人毕洪宇&＃xff0c;目前重点在推动饿了么数据治理&＃xff0c;工具链整合及基础设施效率建设。关注的技术领域主要在数据库内核、分布式存储与计算、机器学习。

CSDN&＃xff1a;您有丰富的从业经历&＃xff0c;更是历经唯品会数据库基础建设、大数据基础平台和实时计算平台从0到1的工作。能否谈谈毕业工作这些年来在工作中的收获和体验&＃xff1f;

毕洪宇&＃xff1a;四点体验&＃xff1a;第一&＃xff0c;在工作中不要给自己设限&＃xff0c;保持好奇心和足够专注。第二&＃xff0c;不要让自己觉得太舒服&＃xff0c;不要消耗自己。第三&＃xff0c;认真反思&＃xff0c;不断对已有的经验和知识进行压缩和抽象。第四&＃xff0c;坦诚、包容、同理心。

比较大的收获除了个人成长以外一定是志同道合的好友&＃xff0c;基本上我的经历都是从无到有到优的建设过程&＃xff0c;而这个奋斗过程是很容易形成“革命友谊”的。

CSDN&＃xff1a;作为一个餐饮O2O平台&＃xff0c;饿了么的数据流量与电商、搜索、游戏等平台有什么不同&＃xff1f;具有怎样的特点&＃xff1f;

毕洪宇&＃xff1a;订单和运单是饿了么最大的技术挑战。第一&＃xff0c;涉及到线上和线下的实时联动&＃xff1b;第二&＃xff0c;整个下单/备餐/取餐/送餐过程需要在30分钟内完成&＃xff1b;第三&＃xff0c;每天两个瞬时高峰。

CSDN&＃xff1a;饿了么大数据平台在技术选型中需要考量哪些因素&＃xff1f;怎样有效协调效率与规范、隔离和共享间的平衡&＃xff1f;

毕洪宇&＃xff1a;在做选型的时候主要考虑三点&＃xff1a;场景、技术和团队。展开来说&＃xff0c;首先需要清楚有哪些业务/技术约束&＃xff0c;即在确认场景后有哪些备选集可供选择。其次&＃xff0c;在备选集圈定后&＃xff0c;团队是否对备选中的技术有很好的把控能力。最后&＃xff0c;需要考量相关技术的生态、社区、其他公司可以借鉴的经验&＃xff0c;以及学习和使用管理成本。

针对效率与规范&＃xff1a;自助化、自动化的建设的重要性不言而喻&＃xff0c;而工具链正是这两者的支撑。对于隔离与共享来说&＃xff0c;在有限资源情况下如何做好隔离和用户体验是个很有挑战的事情&＃xff0c;这里我的经验是&＃xff1a;

1. 基于负载特征分时调整资源比例&＃xff1b;
2. 将每个部门&＃xff0c;每个作业的资源分配情况、运行状况和资源消耗做好可视化同步&＃xff0c;降低因信息不透明导致的无效沟通和抱怨&＃xff1b;
3. 异常作业识别和快速隔离&＃xff0c;异常资源使用情况感知和预警。

CSDN&＃xff1a;饿了么大数据平台的架构演进是怎样的&＃xff1f;经历过哪几个重要的阶段&＃xff1f;运用了哪些技术&＃xff1f;

毕洪宇&＃xff1a;整个平台还是在持续演进过程中&＃xff0c;到目前为止我认为主要经历了两个阶段&＃xff0c;正在进行第三个阶段。

第一阶段&＃xff1a;从0到1。基础设施的搭建&＃xff0c;满足业务对于数据的基本需求。持续重复开发相似的需求&＃xff0c;交付链路很长&＃xff0c;信息流转比较乱。

第二阶段&＃xff1a;从1到10。需求随着业务的快速发展而增加&＃xff0c;无论基础设施还是资源消耗都发生了10倍的增加&＃xff0c;在团队规模基本不扩张的情况下&＃xff0c;通过基础设施稳定性/效率建设和工具链建设来提高整个团队的效率以及交付质量&＃xff0c;同时保证系统的可扩展性。当前阶段&＃xff0c;进行数据治理以及工具链整合&＃xff0c;提高数据和系统的内在质量。

CSDN&＃xff1a;多样化的需求对饿了么大数据平台的高可用提出了更高的要求&＃xff0c;您认为平台还存在哪些亟待解决的问题&＃xff1f;未来的研究重点是什么&＃xff1f;

毕洪宇&＃xff1a;工具链的整合是非常重要的&＃xff0c;现在的工具有些分散&＃xff0c;对于用户来说存在比较高的上下文切换成本&＃xff1b;对于开发人员来说工具间的交互损耗&＃xff0c;一致性维护也是非常高的成本&＃xff0c;而这些是与我们对于效率追求的初衷相违背的。

至于未来研究的重点我想主要是在于数据应用上&＃xff0c;作为平台(包括数据和工具链、基础设施)来讲拥有大量用户/系统/任务等特征数据&＃xff0c;如何能够把这些数据应用起来提高平台的使用效率&＃xff0c;解锁平台的新姿势&＃xff0c;democratize data and empower people with insights.

CSDN&＃xff1a;您最期待在SDCC 2017·深圳站大会上看到哪些内容&＃xff1f;

毕洪宇&＃xff1a;物联网与大数据融合的应用。

SDCC讲师专访系列&＃xff1a;

• 【SDCC讲师专访】专访架构师陈波&＃xff1a;微博近几年的架构演进之路和架构师的技能素养
• 【SDCC讲师专访】阿里巴巴冯嘉&＃xff1a;RocketMQ开源二三事&＃xff0c;侦破万亿级数据容量背后的架构实践
• 【SDCC讲师专访】阅文集团帅翔&＃xff1a;从0到1落地分布式存储系统架构
• 【SDCC讲师专访】专访架构师薛珂&＃xff1a;弹性调度平台Saturn的架构设计
• 【SDCC讲师专访】饿了么毕洪宇&＃xff1a;小析饿了么大数据平台从无到有到优的架构探索三味境

SDCC 2017·深圳站之架构&大数据技术实战峰会将于2017年6月10-11日于深圳南山区中南海滨大酒店举行&＃xff0c;集阿里、腾讯、百度、滴滴出行、Intel、微博、唯品会的资深架构师和一线实践者&＃xff0c;纳知名研发案例&＃xff0c;遇见苏宁云商大数据中心总监陈敏敏、Apache RocketMQ联合创始人冯嘉、饿了么大数据平台部总监毕洪宇等大牛。
票务火热&＃xff0c;预购从速&＃xff0c;团购立减1000元&＃xff0c;更多嘉宾和详细议题敬请关注大会官网和票务点击注册参会。