热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

关于如何设计一个基于事件驱动架构的思考

最近一直在思考一个问题:有没有这样一种可能,就是一个领域模型的状态不依赖于外部,它只负责接收外部的事件,然后根据这些事件做出响应;响应分两种

最近一直在思考一个问题:有没有这样一种可能,就是一个领域模型的状态不依赖于外部,它只负责接收外部的事件,然后根据这些事件做出响应;响应分两种:

根据模型当前的内存状态进行业务逻辑处理,然后产生事件,注意:这个过程不会改变模型当前的内存状态;
根据事件改变自己的状态;
另外,也是最重要的,领域模型不用关心自己所产生的事件到底怎么样了,比如不关心有没有持久化,不关心是否和别的事件有并发冲突。它只管根据自己当前的内存状态做上面这两点的响应;

如果这样的设想有可能,那领域模型就是真正的中央业务逻辑处理器了,和CPU很类似了。这样它才能真正快起来。

简单的说就是:事件->模型->事件
模型只管响应事件,然后响应处理,然后产生新的事件

领域模型就是一黑盒,它只能帮你处理业务逻辑,其他的什么处理结果它一概不关心;当然,领域模型肯定有它自己的状态,但这个状态是驻留在内存的,和领域模型是一体的。

我为什么会有这个想法是因为,我在想,为什么要让领域模型的处理逻辑依赖于它的处理结果是否被正确顺利持久化了?感觉这很荒唐。
既然领域模型有自己的内存状态空间,他的所有逻辑也应该只依赖于这个状态空间,不再依赖于其他任何外部的东西。

当然,以前我们设计的IRepository,实际背后都是直接从数据库取。这样的话,领域模型的状态空间就是数据库了。但是这样其实很不好,为什么不用内存作为领域模型的状态空间呢?

现在再想想LMAX就是我刚才的想法的一个实际例子。

事件->模型->事件,这样的设计,理论上并不需要必须要求单线程来访问模型,因为领域模型不依赖于任何外部的状态,只依赖于自己所在存活内存空间;单线程有一个很大的好处就是可以防止并发冲突的产生。我们其实完全支持多线程或集群的方式,只不过这样会有可能访问到的领域对象的状态是了老的,因为不同的机器之间的领域模型内存对象的状态需要做一些同步,访问到老数据的可能性的大小取决于并发的大小以及机器之间数据同步的快慢;
LMAX之所以用单线程,是考虑了,这单线程的领域模型和性能之间,性能已经非常高其足以达到他们的要求了。

这样的架构,我觉得领域模型中的任何一个对象的一次完整的状态更新至少会响应两个事件,举个例子:

先响应ChangeNoteCommand(command也是一种事件,可以理解为NoteChangeRequested),然后Note模型产生一个NoteChanged事件,注意,此时模型自己的状态还未改变,此时只是先产生了一个事件表示什么事情发生了;
然后该事件(NoteChanged)最终又被发送到领域模型让其响应,此时,领域模型才去更改自己的Note状态并将最新状态保存到自己的内存空间,如一个dict中或redis中;
经过对这两个事件的响应,才完成了Note的最终状态的修改;而我们以前都是从数据库取Note,然后更改,然后保存到数据库。这样不慢才怪!

通过上面的两次事件响应,可以换来领域模型对事件的极快的响应,因为完全无IO。


剩下的我们只要考虑(我目前考虑了以下六个问题):

消息的序列化和反序列化;
消息传递的速度;
事件持久化的速度;
并发冲突后重试的设计;
消息丢失了怎么办;
集群部署时,各台服务器之间内存的同步如何实现;
需要明白的是:这些都不是领域模型该考虑的问题。这些外围的任何问题,都不要让领域模型自己去考虑,我们应该对出现的各种问题逐个寻求解决方案。

每个问题的解决方案我大概理了下我的对策:

消息的序列化和反序列化:这个简单,用BinaryFormatter,或更快的开源序列化组件,对于事件这样大小的对象可以达到每秒10W次每秒;


消息传递的速度:用MSMQ/RabbitMq,等带持久化功能的队列组件;如果嫌太慢,就用ZeroMq(无消息持久化功能),但可以达到30W消息每秒;


事件持久化的速度:由于事件都是跟着单个聚合根,所以我们只要确保单个聚合根的事件不会冲突(即没有重复的版本号的事件);为了更快的持久化,我们可以对事件按照聚合根或者其他方式进行分区存放,不同的服务器存放不同的聚合根的事件;这样通过集群持久化的方式可以实现多事件同时被持久化,从而提高整体的事件持久化吞吐量;如单个mongodb server每秒持久化5000个,那10个mongodb server就能每秒持久化5W个;
并发冲突后怎么办:一般来说就是选择重试,但为了确保不会出现不可控的局面(可能由于某种原因一直在重试,引起消息堵塞),那需要设置一个最大的重试次数;超过最大重试次数后不再重试,然后记录日志,以供以后查找问题;这里的重试的意思是:重新找到对应该事件的command,然后再次发送该command给领域模型处理;


消息丢失:丢失就丢失了呗,呵呵;要是你觉得消息决不能丢失,那就用可靠的带持久化功能的消息传输队列,如MSMQ;当然,就算消息丢失了,我们很多时候都要想想有没有影响的,一般来说,消息丢失,至少我们是知道程序有问题了的,因为模型的状态此时一定是不对的。我们可以通过在消息发出时和接收时记录日志,这样方便以后查找消息是在哪个环节丢的;


任何其他的异常出现,这个我觉得如果都是托管代码,那可以在必要的地方加try catch,然后记录日志。至于是否要重试,还要看情形;


另外,如果是多线程访问模型,或集群访问,那很多时候访问到的内存的领域对象的状态都是老的,那怎么办?其实这不是问题,因为事件持久化的时候会被检测到这种并发重复,然后对应的command会被重试。


如果一个事件被成功的持久化了,那如何让各台应用服务器知道?这个我觉得也简单,就是当事件持久化完成后,通过zeromq publish给所有的应用服务器,每台应用服务器都有一个后台的线程在不停的接收已被成功持久化了的事件,然后根据这些事件更新自己内存空间中的领域对象的状态。这一步完全可以由框架自动做掉;这里相当于我上面提到的第二个事件(NoteChanged)是由框架自动处理的,不需要用户写代码干预;前面说到,因为是publish-subscribe模式,所以各台应用服务器上的数据就会自然保持同步了;


另外,这种架构,传输的是事件,事件都是很小的,所以不用担心消息传输的性能。

对于以上的想法,有人有下面的两点担心:

事件是否就是解决当前复杂软件架构的银弹?
系统中如果出现海量的事件是否会出现另一种灾难?
我记得不知道是谁说过,OO的本质就是消息通信。command也好,event也好,或者直接的方法调用也好,本质上都是对象与对象之间的消息通信。

方法调用太生硬(这点我记得你曾今也提到过,当然我觉得聚合内很适合用方法调用来实现聚合内的对象的通信)
command, event本质上都是通过message作为媒介,实现对象与对象之间的通信。这让我想起有一位高人曾经说过的一个比喻,下面是摘录的他的原话:

“现在的SOA、ESB之类的东西是不是就像打造一个企业的“神经脉络”,而“OO”是不是就像“神经元”,它们之间的通讯就是靠生物电脉冲,这就是消息驱动。”

所以,我在想,软件实现用户的需求,是不是也应该有很多的对象以及很多的消息(event)这两样东西作为核心组成,对象相当于神经元,消息相当于生物电脉冲。整个软件在运行过程中就是这样一个由对象以及消息组成的网络。

至于复杂性,我觉得框架可以帮我们实现消息通信的部分,而我们程序员要做的就是定义对象结构,然后让对象具有发送消息和接收消息的行为功能。我觉得这点并不是很复杂吧!

最近我一直在努力实现我这个想法,因为我师兄说:“我现在不相信什么架构,just show me the code”。

有想法和能实现出来是两回事,你有多少能力,你的设计能力,对细节的把控能力,程序员内在素养,一看代码便知,呵呵。

有人回复说:事件本身没有错,我想强调的是“事件”的定位问题。“事件”是一个界与另一个界交互的方式,但界是分层次的。用人体比喻很好理解,细胞之间的事件,组织之间的事件,器官之间的事件。构建这样的事件体系是非常复杂的,目前的技术很难达到,不是一个EventBus就可以解决的。

针对上面的说法,我觉得这里主要还是一个编程思路的转变问题。事件驱动天生是一种异步编程。我之所以想自己搞一个这样的框架,主要是因为:

事件驱动的编程模型让model不在有任何负担,让model只面向in memory,从而实现高性能不是梦了;
事件的version机制让我们方便的实现乐观并发,确保单个聚合根内强一致,聚合根之间最终一致;然后配合框架自动实现的重试功能,可以在并发冲突后自动重试,这样极大避免command的执行失败率;
事件数据不是关系型数据,所以事件产生者和处理者都可以多个,这意味着我们做集群非常容易,且事件的存储可以任意拆分,只要确保同一个聚合根的事件放在一起即可,不同聚合根的事件理论上都可以放在不同的服务器上,这样我们持久化事件也可以并发,我们只要对聚合根id+commitSequence这两个字段建立唯一索引即可。从而克服事件持久化(IO操作)慢的瓶颈;


在这么多诱人的特性面前,我们还有什么说不的理由呢?困难不要紧,我们可以一步步来,呵呵。总比没有想法好,你说呢


推荐阅读
  • 我的读书清单(持续更新)201705311.《一千零一夜》2006(四五年级)2.《中华上下五千年》2008(初一)3.《鲁滨孙漂流记》2008(初二)4.《钢铁是怎样炼成的》20 ... [详细]
  • PHP面试题精选及答案解析
    本文精选了新浪PHP笔试题及最新的PHP面试题,并提供了详细的答案解析,帮助求职者更好地准备PHP相关的面试。 ... [详细]
  • Redis:缓存与内存数据库详解
    本文介绍了数据库的基本分类,重点探讨了关系型与非关系型数据库的区别,并详细解析了Redis作为非关系型数据库的特点、工作模式、优点及持久化机制。 ... [详细]
  • 在CentOS 7环境中安装配置Redis及使用Redis Desktop Manager连接时的注意事项与技巧
    在 CentOS 7 环境中安装和配置 Redis 时,需要注意一些关键步骤和最佳实践。本文详细介绍了从安装 Redis 到配置其基本参数的全过程,并提供了使用 Redis Desktop Manager 连接 Redis 服务器的技巧和注意事项。此外,还探讨了如何优化性能和确保数据安全,帮助用户在生产环境中高效地管理和使用 Redis。 ... [详细]
  • V8不仅是一款著名的八缸发动机,广泛应用于道奇Charger、宾利Continental GT和BossHoss摩托车中。自2008年以来,作为Chromium项目的一部分,V8 JavaScript引擎在性能优化和技术创新方面取得了显著进展。该引擎通过先进的编译技术和高效的垃圾回收机制,显著提升了JavaScript的执行效率,为现代Web应用提供了强大的支持。持续的优化和创新使得V8在处理复杂计算和大规模数据时表现更加出色,成为众多开发者和企业的首选。 ... [详细]
  • 本文总结了一次针对大厂Java研发岗位的面试经历,探讨了面试中常见的问题及其背后的原因,并分享了一些实用的面试准备资料。 ... [详细]
  • 本文详细介绍了如何搭建一个高可用的MongoDB集群,包括环境准备、用户配置、目录创建、MongoDB安装、配置文件设置、集群组件部署等步骤。特别关注分片、读写分离及负载均衡的实现。 ... [详细]
  • 提升工作效率:掌握15个键盘快捷键
    在日常工作中,熟练掌握计算机操作技巧能够显著提升工作效率。本文将介绍15个常用的键盘快捷键,帮助用户更加高效地完成工作任务。 ... [详细]
  • 本文详细介绍如何在华为鲲鹏平台上构建和使用适配ARM架构的Redis Docker镜像,解决常见错误并提供优化建议。 ... [详细]
  • 电商高并发解决方案详解
    本文以京东为例,详细探讨了电商中常见的高并发解决方案,包括多级缓存和Nginx限流技术,旨在帮助读者更好地理解和应用这些技术。 ... [详细]
  • MongoDB核心概念详解
    本文介绍了NoSQL数据库的概念及其应用场景,重点解析了MongoDB的基本特性、数据结构以及常用操作。MongoDB是一个高性能、高可用且易于扩展的文档数据库系统。 ... [详细]
  • Redis 脑裂现象及其应对策略
    本文探讨了 Redis 集群中的脑裂现象及其解决方案,包括脑裂的成因、影响以及如何通过配置项防止脑裂的发生。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • MySQL Decimal 类型的最大值解析及其在数据处理中的应用艺术
    在关系型数据库中,表的设计与SQL语句的编写对性能的影响至关重要,甚至可占到90%以上。本文将重点探讨MySQL中Decimal类型的最大值及其在数据处理中的应用技巧,通过实例分析和优化建议,帮助读者深入理解并掌握这一重要知识点。 ... [详细]
  • ### 优化后的摘要本学习指南旨在帮助读者全面掌握 Bootstrap 前端框架的核心知识点与实战技巧。内容涵盖基础入门、核心功能和高级应用。第一章通过一个简单的“Hello World”示例,介绍 Bootstrap 的基本用法和快速上手方法。第二章深入探讨 Bootstrap 与 JSP 集成的细节,揭示两者结合的优势和应用场景。第三章则进一步讲解 Bootstrap 的高级特性,如响应式设计和组件定制,为开发者提供全方位的技术支持。 ... [详细]
author-avatar
二比大哥大
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有