热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

采访:蔡学镛谈复杂事务处理(CEP)

蔡学镛,台湾清华大学硕士,曾任程序员、技术经理、技术总监。除了将技术知识用于软件开发相关的工作之外,他也担任过培训班讲师、研讨会讲师、技术图书翻译与编辑、技术专栏作家等工作。他撰写的《Java夜

蔡学镛,台湾清华大学硕士,曾任程序员、技术经理、技术总监。除了将技术知识用于软件开发相关的工作之外,他也担任过培训班讲师、研讨会讲师、技术图书翻译与编辑、技术专栏作家等工作。他撰写的《Java夜未眠》一书,至今仍常被IT圈提及。蔡学镛于1995年就开始玩Java,在2001年进入.NET领域,近年则倾向于使用动态语言。因为工作关系,他接触到CEP(Complex Event Processing),并完成了一套相应的系统。InfoQ编辑在QCon全球企业开发大会(北京站)期间,就CEP相关的技术,企业采用CEP的价值等话题采访了蔡学镛。

InfoQ :按惯例,请您先做一下自我介绍。然后,再向我们的读者介绍一下您在这次大会上讨论的主题?

蔡学镛(以下简称学镛): 大家好,我是支付宝技术部的蔡学镛(编辑注:现已离职),这次到QCON上演讲的主题是CEP,刚好也算是我在支付宝的一个项目的心得体会。基本上,CEP系统能够让我们把很多来自四面八方,各个系统的一些事件搜集起来,从中萃取出一些更大、更有意义、更有用的信息,这些信息不管是对制订公司、运营和行销的决策,还是对发现系统潜在的问题、漏洞和威胁都有帮助。这种系统就是CEP系统,它是准实时的,跟其他一些系统,比方说数据挖掘,又不太一样。那些系统是在事后才对过去的历史数据进行挖掘。这次跟大家分享的就是CEP这个技术。

InfoQ :在未来的企业中, CEP 会充当一个什么样的角色,它如何跟我们企业中其他的系统进行交互,完成企业的业务目标?

学镛: 大家之所以会对CEP比较陌生的原因,是因为CEP过去主要用在银行业、金融业。例如,他们可以通过CEP系统来判断某一些持卡人的信用卡操作是有问题的,可能是这个卡掉了,或者可能因为卡所处的状态而就把卡给锁住了。但是这样就太局限了,我认为CEP的用途非常广,它可以用在任何企业里面。任何一家企业里面都有许多系统,系统之间交互和系统内部都会产生大量信息,如果我们能把这些信息善加分析、处理和使用的话,会对企业经营有很大帮助。至于怎样应用,就很难讲了,必须要看企业是哪种类型。但我相信,不管是什么样的企业都可以使用到CEP。

InfoQ :在选择 CEP 产品和解决方案的时候,我们要考虑哪些因素?市面上主要的 CEP 产品有哪些,各有什么优缺点?

学镛: 市面上提供CEP产品的厂商,基本上就是做数据库的那几家,我就不特别提及了。另外一些较小的厂商,如TIBCO,也不能说它小,它其实是CEP最大的厂商,号称有40%的市场占有率,而且我看他们的CEP确实也不错。还有一些小厂商,像StreamBase;另外一些开源的,像EsperTech,都可以在产品选型时考虑。

那么,要考虑哪些因素呢?我觉得有两大重点。第一,所提供的EPL语言。EPL语言可以让我们描述哪些事件,在什么状况发生了我们感兴趣的符合条件的事件。这个描述语言本身如果不够灵活,表达能力不够好的话,那势必这个系统买回来对你的作用也不大,甚至可能会造成很严重的误报警率。误报警率一高,这个系统就不堪使用,所以我觉得EPL是最重要的一个考量点。除了EPL之外,我认为引擎本身的效率也非常重要,因为CEP面对的是海量事件、海量数据,如果没有一个很强有力的算法和引擎的话,整个系统效率绝对会是一个非常大的问题。

InfoQ :既然市面上已经有了这么多 CEP 的产品,为什么支付宝还选择自行开发?这个自行开发的解决方案,跟这些产品相比,有什么独到之处?

学镛: 其实,早期我们评估过是否采用开源CEP框架。但我的评估结果是它的能力基本上达不到我们的要求,原因就是刚才我提到的第一点,EPL的描述能力。所以,我认为可能还是自行开发会好一些。我们采用了状态机的设计方案,后来确实证明这个方案完全符合支付宝现金流的需求,我们现在不管是担保交易,还是更复杂的业务,再复杂的规则,即便整个状态图大如地图,这个引擎都能够把它描述出来。

确实,现在回想起来,当时决定自行开发引擎的做法是对的。但我不建议所有企业都自行开发,还是得量力而为。因为,如果你做的东西是别人已经做好的话,你可能得评估,自己有没有办法做得更好,或者是自己花一点钱就买得到的东西,是不是得自己开发?

InfoQ :这个 CEP 解决方案目前在支付宝内部的应用情况怎样,目前处于什么样的阶段,大概主要应用在哪些业务中?

学镛: 支付宝内部其实很多部门都在用CEP了,虽然我们不会特别强调CEP这个词,但其实都已经在用这样的概念了。采用的解决方案有很多,有买来的,有自行开发的。例如,支付宝里面有一个非常有名、非常经典的例子,CTU。CTU大家应该都看过,这是一个24小时反恐的政府组织,他们做的事情就是要针对恐怖分子去做一些应对措施。支付宝因为牵涉到金融,所以我们也对这部分特别谨慎,这一直是支付宝非常核心的技术,大量地在使用CEP。而且每隔一段时间就会发布新的供给模型,让支付宝会更加完善。这是一个例子,它们是用来防止网络攻击以及洗钱等这些行为。另外,支付宝还有一些比较小的CEP应用。比如,在营销、协助公司决定生产或判断趋势方面都有应用。至于我开发的这个总督系统,其实是比较新的,它的目的就是用来侦测我们各个系统之间的信息交互有没有问题,属于比较动态的系统校验。这些都是支付宝里面用到的CEP。

InfoQ :您在演讲时候也提到准确性的问题。您开发的这个 CEP 解决方案,在性能和准确性方面表现如何?有没有相应的数据或者案例来支撑您的说法?

学镛: 由于目前这个产品还属于比较前期的阶段,所以还没有特别去针对它收集相关数据,这个数据我给不出来。但是它的效率的确非常好,因为我们现在所有的计算,都是在内存里面而不是在数据库中进行的,它的效率绝对会比数据库方式来得快。我们现在就是几台服务器,处理支付宝目前的那些系统已经足够了,因此也没有特别针对项目进行调整。当前的效率都还可以,但我没办法给出比较确切的数据。

InfoQ :那准确性呢?

学镛: 关于它,我倒是可以给出些数据。我们做过一些像担保交易、即时到帐等这类支付宝比较经典的应用,基本上所有的支付宝应用都是担保交易和即时到帐,它们大概一直占了百分之八九十,所以已经算是涵盖支付宝大部分的应用。监控这些业务,之前的误报警率是3%,已经很低了。而且现在,一旦发生误报警,我们就会检查为什么会误报警,看看规则里面少了哪些判断,然后再去补充规则,所以现在又降低了,可能是1%多点,而且又在不断地持续降低,这是我们这个总督系统的现状。至于其他像CTU的方式,那边的数据我就不清楚了,那边数据的效率可能会高一些。

InfoQ :您曾经说过,在您开发的 CEP 解决方案中有一个规则 DSL DSL 现在相当热门,您能不能对此详细介绍一下?

学镛: 我认为状态机的描述,最好能够让它非常简单,这样就可以让更多人能够去写规则,放到我们的这个平台上,这个CEP就能应用到更多场合。如何让这个规则可以很简单、很容易地写呢?DSL是关键。DSL是第一种方式,另一种方式就是利用易用的绘图工具,让我们可以去做一些表单设置或者是状态图的绘制。我们先是采取DSL的方式,未来当人力更充足时,我们就会去做这个图形工具,我相信这两个阶段都达到之后,使用我们的系统或者是在上线之后再修改规则,都会更容易、更快。

InfoQ :您刚才说过支付宝的 CEP 解决方案,山头林立,未来是否有可能出现一个统一的 CEP 平台?

学镛: 有可能,这就是我的野心了。我期望我做的这个平台,能够尽量多的发挥它的价值。我认为,因为这个平台有非常大的潜力,所有希望借目前的这些应用,慢慢扩展到未来也能够去做网络攻击、洗钱的侦测。当系统做到更好、更稳定的时候,能够把它推荐到阿里巴巴的其他子公司,像淘宝或B2B,让他们也能够用。当然,这是我的目标啦,都还是未知数,现在言之过早。

InfoQ :祝您早日完全心愿。如果我想说服一家企业去采用 CEP 的话,您有何建议?回顾当初支付宝内部决定采用 CEP 解决方案的过程,有没有一些经验可以跟我们分享?

学镛: 企业如果想采用CEP,不应该是为了用CEP而用CEP,应该是确切发现公司里面的某些地方能够通过CEP带来价值。不管是营销,还是其他方面,先要找到应用点。找到之后,然后再去评估这个应用点值不值得花大钱去做CEP。因为提供CEP系统的厂商都是大厂商,东西都挺贵,这个可能要考量的第一点。如决定采用,那这个应用值不值得投入这么多钱去买一个CEP,或者是投入这么多人力开发一个CEP,说到底还是应用。你刚才的第二个问题是?

InfoQ :因为支付宝现在已经有经验了,有什么可供借鉴的?

学镛: 支付宝倒是没什么问题,在支付宝内部要推行CEP非常容易,因为公司本身的属性虽说是网络业,但有一大部分是金融业,所以大家的安全意识非常非常的强。就以CTU来说,在支付宝里面算是最重要、最大的CEP了。其实,由于支付宝一成立就立刻有了这个CTU,它等于是伴随着支付宝公司成长的,在支付宝没有推广不下的可能。

InfoQ :对于想要了解和学习 CEP 的开发者,您有什么建议,能否给出一些参考资料和学习方法?

学镛: 我觉得可以先从各个CEP厂商的技术白皮书着手。技术白皮书一般都较为简短,可能会比较好读。像TIBCO、StreamBase、Oracle,这几家的CEP,都可以从这里着手。另外,有本书其实挺好的,去年刚出版,国内可能没有引进,或许可以通过英文站点从国外购买,书名是《Event Processing: Designing IT System for Agile Companies》,McGraw Hill出版社出版,作者名字不记得了。这本书非常棒。而且这本书里面提到的不只是CEP,基本上CEP只占一章,其他讲的都是事件处理,重点是怎么结合起来成为一个整体,我觉得CEP不是单独存在的,它会搭配很多其他的事件处理的概念,所以这本书整个对它进行了一个完整的说明。另外,今年开始也会陆续有一些面向程序员,不是着重架构的,让程序员看的CEP书籍。像是Manning出版社今年就会出一本,里面应该有CEP,这些都是不错的参考资料。相对其他领域,如SOA,大家对它可以说是耳熟能详了,说知道CEP的确实是少得可怜。

InfoQ :非常感谢。

学镛: 谢谢。

 

原文:http://www.infoq.com/cn/articles/cxy-cep


推荐阅读
  • 提升 Kubernetes 集群管理效率的七大专业工具
    Kubernetes 在云原生环境中的应用日益广泛,然而集群管理的复杂性也随之增加。为了提高管理效率,本文推荐了七款专业工具,这些工具不仅能够简化日常操作,还能提升系统的稳定性和安全性。从自动化部署到监控和故障排查,这些工具覆盖了集群管理的各个方面,帮助管理员更好地应对挑战。 ... [详细]
  • Web开发框架概览:Java与JavaScript技术及框架综述
    Web开发涉及服务器端和客户端的协同工作。在服务器端,Java是一种优秀的编程语言,适用于构建各种功能模块,如通过Servlet实现特定服务。客户端则主要依赖HTML进行内容展示,同时借助JavaScript增强交互性和动态效果。此外,现代Web开发还广泛使用各种框架和库,如Spring Boot、React和Vue.js,以提高开发效率和应用性能。 ... [详细]
  • CTF竞赛中文件上传技巧与安全绕过方法深入解析
    CTF竞赛中文件上传技巧与安全绕过方法深入解析 ... [详细]
  • 本文深入探讨了如何选择适合业务需求的MySQL存储引擎,详细解析了不同存储引擎的特点、适用场景及其在数据存储和管理中的优势。通过对比InnoDB、MyISAM等主流引擎,为读者提供了全面的技术指导和专业建议,帮助开发者在实际应用中做出明智的选择。 ... [详细]
  • Swoole加密机制的安全性分析与破解可能性探讨
    本文深入分析了Swoole框架的加密机制,探讨了其在实际应用中的安全性,并评估了潜在的破解可能性。研究结果表明,尽管Swoole的加密算法在大多数情况下能够提供有效的安全保护,但在特定场景下仍存在被攻击的风险。文章还提出了一些改进措施,以增强系统的整体安全性。 ... [详细]
  • 如何撰写适应变化的高效代码:策略与实践
    编写高质量且适应变化的代码是每位程序员的追求。优质代码的关键在于其可维护性和可扩展性。本文将从面向对象编程的角度出发,探讨实现这一目标的具体策略与实践方法,帮助开发者提升代码效率和灵活性。 ... [详细]
  • 2021年Java开发实战:当前时间戳转换方法详解与实用网址推荐
    在当前的就业市场中,金九银十过后,金三银四也即将到来。本文将分享一些实用的面试技巧和题目,特别是针对正在寻找新工作机会的Java开发者。作者在准备字节跳动的面试过程中积累了丰富的经验,并成功获得了Offer。文中详细介绍了如何将当前时间戳进行转换的方法,并推荐了一些实用的在线资源,帮助读者更好地应对技术面试。 ... [详细]
  • 在Java分层设计模式中,典型的三层架构(3-tier application)将业务应用细分为表现层(UI)、业务逻辑层(BLL)和数据访问层(DAL)。这种分层结构不仅有助于提高代码的可维护性和可扩展性,还能有效分离关注点,使各层职责更加明确。通过合理的设计和实现,三层架构能够显著提升系统的整体性能和稳定性。 ... [详细]
  • PHP自学必备:从零开始的准备工作与工具选择 ... [详细]
  • 本文深入探讨了NoSQL数据库的四大主要类型:键值对存储、文档存储、列式存储和图数据库。NoSQL(Not Only SQL)是指一系列非关系型数据库系统,它们不依赖于固定模式的数据存储方式,能够灵活处理大规模、高并发的数据需求。键值对存储适用于简单的数据结构;文档存储支持复杂的数据对象;列式存储优化了大数据量的读写性能;而图数据库则擅长处理复杂的关系网络。每种类型的NoSQL数据库都有其独特的优势和应用场景,本文将详细分析它们的特点及应用实例。 ... [详细]
  • 线程能否先以安全方式获取对象,再进行非安全发布? ... [详细]
  • 触发器的稳态数量分析及其应用价值
    本文对数据库中的SQL触发器进行了稳态数量的详细分析,探讨了其在实际应用中的重要价值。通过研究触发器在不同场景下的表现,揭示了其在数据完整性和业务逻辑自动化方面的关键作用。此外,还介绍了如何在Ubuntu 22.04环境下配置和使用触发器,以及在Tomcat和SQLite等平台上的具体实现方法。 ... [详细]
  • 数字图书馆近期展出了一批精选的Linux经典著作,这些书籍虽然部分较为陈旧,但依然具有重要的参考价值。如需转载相关内容,请务必注明来源:小文论坛(http://www.xiaowenbbs.com)。 ... [详细]
  • 在Android应用开发中,实现与MySQL数据库的连接是一项重要的技术任务。本文详细介绍了Android连接MySQL数据库的操作流程和技术要点。首先,Android平台提供了SQLiteOpenHelper类作为数据库辅助工具,用于创建或打开数据库。开发者可以通过继承并扩展该类,实现对数据库的初始化和版本管理。此外,文章还探讨了使用第三方库如Retrofit或Volley进行网络请求,以及如何通过JSON格式交换数据,确保与MySQL服务器的高效通信。 ... [详细]
  • 如何利用Java 5 Executor框架高效构建和管理线程池
    Java 5 引入了 Executor 框架,为开发人员提供了一种高效管理和构建线程池的方法。该框架通过将任务提交与任务执行分离,简化了多线程编程的复杂性。利用 Executor 框架,开发人员可以更灵活地控制线程的创建、分配和管理,从而提高服务器端应用的性能和响应能力。此外,该框架还提供了多种线程池实现,如固定线程池、缓存线程池和单线程池,以适应不同的应用场景和需求。 ... [详细]
author-avatar
常德锦江-余欢
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有