热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

【SDCC2016】Erlang编程语言专题:Erlang在数据链路、分布式系统的落地实践

【SDCC2016】Erlang编程语言专题:Erlang在数据链路、分布式系统的落地实践

【CSDN现场报道】2016年11月18日-20日,由CSDN重磅打造的年终技术盛会 —— “ 2016中国软件开发者大会 ”(Software Developer Conference China 2016,简称SDCC 2016)在北京京都信苑饭店隆重举行。本届大会云集了100多位国内外顶尖专家和技术大牛,共设新趋势和新实践2大主题会场,14个技术专题。面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,助力企业的技术升级和改造、全面提升技术人员的综合实力。

11月18日,在上午 Keynote 上,首次到访中国的 Erlang 之父 Joe Armstrong 以《如何设计高可靠的分布式并行系统》为主题,切身分享了自身深厚的并行编程经验。更在下午的 Erlang 编程语言专题论坛上,以诙谐的语言分享了自己从“Young Me”到“Dr Me” 的多彩程序人生,以及 Erlang 的设计、开源、使用。并和以阿里云 RDS 技术专家黄大鹏(武藏)、环信首席架构师兼IM技术总监梁宇鹏、Yunba 云巴 CEO 张虎为代表的国内 Erlang 企业开发团队代表一起围绕着 Erlang 与编程语言设计实践以及并行编程进行了深度的交流与探讨。本次会议由火币网 CTO 程显峰主持。

【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践
Erlang 语言设计者 Joe Armstrong

Erlang 之父 Joe Armstrong:Erlang 和我的编程人生

Armstrong 先生的分享主要分为两部分,一部分包含他是如何思考和解决问题的,另一部分是 Erlang 语言的演进。不过,用 Armstrong 先生在现场的原话来说,则是这样的:

今天我总共有两个话题要与大家分享,第一个是我的头发是怎么白的,还有我和我的博士生们交流研究过的诸多问题。另外一个就是我们在编程的时候经历过哪些失误与失败,以及这些方面实实在在的例子。

  • PPT 1: How I got my grey hairs
  • PPT 2:Growing A Language

出生于1950年的 Armstrong 先生在他数十年的生命中所发生的种种事迹让我们津津乐道,而在他原本的人生设想里是1972年到75年攻读物理学博士,1985年成为教授,2000左右的时间获得诺贝尔奖。即使是总会有各种俗事纷扰,包括从“Smal stuff”到“Big stuff”在内的各式各样甚至于无关紧要的小事情,但这长期的计划却未变过。

然而,万万没想到,在1975年出现了“(Really)Run out of money”的窘境,而他也由此转向了计算机科学领域。从1986年希望有一个不错的容错处理系统创造了 Erlang,到爱立信暂时禁用 Erlang,继而 Erlang 开源,自己被 Fired、成为教授,认为“PPT 总是会摧毁人们的创造力”的 Armstrong 先生用手绘图里的哭和笑表情带过了个中曲折。

【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践

而在编程方面,Armstrong 先生分享到:

  1. 人们总认为产品开发流程是这样:Specify→Build→Test→Sell→$$$,然而实际上却是这样的:start→??????????→Product;
  2. 学习语言从一个问题开始,比如 Xcode:How can we confuse people? Erlang:How can we program telephony?
  3. 关于文档:Read the code;
  4. 关于性能:Wait 10 years for x1000 improvement,在未来二十年,所有与关键性能相关的软件将与硬件相融合。
【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践

阿里云 RDS 技术专家黄大鹏(武藏):Erlang 在云上数据链路的应用

【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践
阿里云 RDS 技术专家 黄大鹏(武藏)

PPT 下载:《 Erlang 在云上数据链路的应用 》

当今云上数据链路面临着数据库服务极其严苛的可用性要求、云上业务多样性带来的困难、超高并发带来的问题、运维实体从几十到几十万带来的问题、资源倾斜、低成本与高效率的矛盾等挑战。作为高性能、高可用的平台,Erlang提供了相关的基础设施,负责任务调度、内存管理、应用隔离、网络框架、高可用框架、代码热替换,由此武藏与其团队开始了 Erlang 在云上数据链路的应用实践探索。比如在高可用方面,当硬件、操作系统故障,内部逻辑 Bug 造成假死,可在检查到异常后,采取将 SLB 路由摘掉、流量导走的措施。而在热升级方面,武藏建议:

  1. 尽量有soft_purge,purge不成功不要强行替换;
  2. 数据与应用逻辑的兼容,写好code_change;
  3. 避免模块间循环依赖;
  4. 动态启动的进程可能不会执行code_change。

环信首席架构师兼 IM 技术总监梁宇鹏:Erlang 在大规模分布式系统中的问题与应对

【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践
环信首席架构师兼 IM 技术总监 梁宇鹏

首先,在架构实践方面,以会话存储层设计为例,Mnesia 能处理么?在没有持久存储的情况下能,但是节点宕机时会遇到全局锁,从而导致所有节点都会阻塞引发整体集群无法访问,以自带的分区功能减少每个节点数量。随后,梁宇鹏对 Erlang 在大规模分布式系统中的运用进行了具体分享,包括分布式设计、全连接网络、进程调度等方面,他表示:调度的本质是计算资源的分配,公平才能保障系统的实时性,开发者需谨慎使用进程组,比如 Erlang的 Kafka client——Ekaf会把 pg2 把所有的调用方绑在一起,导致在网络闪断或 Kafka Server 端出问题时,全集群的锁定,对此,可将进程信息改为本地存储,该方案已开源。

Yunba 云巴 CEO 张虎:实时系统 Erlang 实践

【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践
Yunba 云巴 CEO 张虎

PPT 下载:实时系统 Erlang 实践

在面临支持亿级用户、线性扩容、高可用、软实时等方面的挑战时,有着异步 IO(Libev/epoll、Node.js)、轻量级进程(Erlang、Golang、Akka)等可选方案,而 Erlang 可公平调度、支持分布式、进程独立的 GC、OTP,基于此张虎具体分享了其团队在 Erlang 的实践,主要为:

  1. OTP Applications:每一个 模块封装一个 Application(Supervisor),业务逻辑由 Worker 实现,对外提供 RPC 接口;
  2. 接入负载均衡模块:实时监控,动态添加、移除接入点,每一个接入点用一个 Erlang 进程监控;
  3. 主逻辑模块:每个 Worker 每次处理一个业务请求;
  4. 大规模 publish:目标客户端数在200+,Worker 把 publish 分片,每个分片由一个 Erlang 进程处理;
  5. 离线消息性能问题:无线网络抖动频现,需保证离线消息送达率,一次 publish 有可能大量离线消息。

最后,张虎还就“为什么 Erlang‘难学’”这个问题分享了自己的经验,Erlang并不难学,首先,学习者对于函数式语言需要有几天的适应期,但还是有很多人都在 工具 链处放弃了。而云巴团队之所以会选择 Erlang 是因为其所带来的便利性,但工具链的确是阻碍 Erlang 普及的一大因素。

社区交流:关于 Erlang 你最关心的问题

最后,在火币网CTO程显峰的主持下,Erlang设计者Joe Armstrong、阿里云RDS技术专家黄大鹏(武藏)、环信首席架构师兼IM技术总监梁宇鹏、Yunba云巴CEO张虎一起围绕着 Erlang 与编程语言设计实践以及并行编程进行了深度的交流与探讨。

【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践

直至今日,Armstrong 先生依然会写代码,也在现场分享了他的一天,从起床、看新闻,弹1小时左右的钢琴这些技术之外的事情,到突然之间迸发的灵感并将之付诸实践。对于编程语言,Armstrong 先生认为“编程语言该生而简单,语言需要保持简约性,必须简单好用,才能方便开发者的学习”。

更多精彩内容,请关注图文直播专题: SDCC 2016中国软件开发者大会 ,微博:@CSDN研发频道,订阅CSDN官方微信公众号(ID:CSDNnews),即时获取大会动态。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 我们


推荐阅读
  • 本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识,包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性,外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍,读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行,并且不再受限于特定的语言和部署环境。 ... [详细]
  • k8s+springboot+Eureka如何平滑上下线服务
    k8s+springboot+Eureka如何平滑上下线服务目录服务平滑上下线-k8s版本目录“上篇介绍了springboot+Euraka服务平滑上下线的方式,有部分小伙伴反馈k ... [详细]
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • Android Studio Bumblebee | 2021.1.1(大黄蜂版本使用介绍)
    本文介绍了Android Studio Bumblebee | 2021.1.1(大黄蜂版本)的使用方法和相关知识,包括Gradle的介绍、设备管理器的配置、无线调试、新版本问题等内容。同时还提供了更新版本的下载地址和启动页面截图。 ... [详细]
  • 知识图谱——机器大脑中的知识库
    本文介绍了知识图谱在机器大脑中的应用,以及搜索引擎在知识图谱方面的发展。以谷歌知识图谱为例,说明了知识图谱的智能化特点。通过搜索引擎用户可以获取更加智能化的答案,如搜索关键词"Marie Curie",会得到居里夫人的详细信息以及与之相关的历史人物。知识图谱的出现引起了搜索引擎行业的变革,不仅美国的微软必应,中国的百度、搜狗等搜索引擎公司也纷纷推出了自己的知识图谱。 ... [详细]
  • 关于我们EMQ是一家全球领先的开源物联网基础设施软件供应商,服务新产业周期的IoT&5G、边缘计算与云计算市场,交付全球领先的开源物联网消息服务器和流处理数据 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 利用Visual Basic开发SAP接口程序初探的方法与原理
    本文介绍了利用Visual Basic开发SAP接口程序的方法与原理,以及SAP R/3系统的特点和二次开发平台ABAP的使用。通过程序接口自动读取SAP R/3的数据表或视图,在外部进行处理和利用水晶报表等工具生成符合中国人习惯的报表样式。具体介绍了RFC调用的原理和模型,并强调本文主要不讨论SAP R/3函数的开发,而是针对使用SAP的公司的非ABAP开发人员提供了初步的接口程序开发指导。 ... [详细]
  • 本文介绍了Windows操作系统的版本及其特点,包括Windows 7系统的6个版本:Starter、Home Basic、Home Premium、Professional、Enterprise、Ultimate。Windows操作系统是微软公司研发的一套操作系统,具有人机操作性优异、支持的应用软件较多、对硬件支持良好等优点。Windows 7 Starter是功能最少的版本,缺乏Aero特效功能,没有64位支持,最初设计不能同时运行三个以上应用程序。 ... [详细]
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • 开发笔记:Python之路第一篇:初识Python
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了Python之路第一篇:初识Python相关的知识,希望对你有一定的参考价值。Python简介& ... [详细]
  • 篇首语:本文由编程笔记#小编为大家整理,主要介绍了SpringCloudRibbon部分源码相关的知识,希望对你有一定的参考价值。1:ribbon是提供通过servi ... [详细]
  • 本人学习笔记,知识点均摘自于网络,用于学习和交流(如未注明出处,请提醒,将及时更正,谢谢)OS:我学习是为了上 ... [详细]
  • TiDB | TiDB在5A级物流企业核心系统的应用与实践
    TiDB在5A级物流企业核心系统的应用与实践前言一、业务背景科捷物流概况神州金库简介二、现状与挑战神州金库现有技术体系业务挑战应对方案三、TiDB解决方案测试迁移收益问题四、说在最 ... [详细]
author-avatar
风云时尚_榜中榜_434
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有