热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

使用Nginx优化面向切面的架构

“瑞士军刀”可以带

首先抛出一个概念:面向侧面的程序设计(aspect-oriented programming,AOP),通过将解决特定领域问题的代码从业务逻辑中独立出来,从而提高代码的可维护性。

 如下的需求

  1. APP 端会对所有请求进行加密,服务器端要对加密结果进行校验,确保正确以及未篡改;

  2. 通过手机号来登录,采用基本的 token 机制验证登录;

  3. 有企业、小组以及员工的层级关系,后期必须考虑根据公司来分表/集群;

  4. 提供涉及到权限的 REST 风格的接口(某种程度上类似 Postgrest,但是进行了拓展,后面会有专门文章介绍)

Version 1st.

思路:首先整个目前项目的主关注点 (core concern) 是 REST 风格的资源服务器 —— 即通过约定俗成的风格来对应具体的数据/资源操作。在这个功能外,需要完成的其他关注点包括:

  • 所有请求加密校验

  • 登录验证

  • 资源的权限管理以及获取

于是,在 Sinatra 中,可以通过 extensions 的方式将请求加密校验完成,配合 before 来进行统一处理:


最终采用"中间件"的方式,在请求的最前面一层(横切关注点 crosscutting concerns)将非法请求进行拦截。

于是紧接着第二个流程,验证用户是否登录,与获取当前联系人所在的公司、小组、以及其管理的小组信息一样,这里最快速/方便的做法就是通过 helpers 来实现:


最终在 REST 相关的构建代码中,就不需要去考虑用户请求加密的内容,也不需要去考虑用户是否登录(因为如果需要使用到用户信息但是用户没有登录,会直接抛出错误返回)。只需要按照约定的设计风格,把请求的内容在校验了内容和权限后,转成对应的数据库操作,最终再按照约定的内容返回。

Version 2nd.

第一版已经尽可能的考虑到 解决特定领域问题的代码从业务逻辑中独立出来。但是现实开发里面经常会涉及到多人开发、跨语言合作、更快速的迭代等等的问题,最终需要把他们拆成独立的低耦合度的 Server。于是随之而来的是如何在服务间进行通讯/共享数据。

这里的方案选择通常会根据实际业务以及难易程度来权衡,例如最快捷的 webServer 的方式内部通信,稍微复杂点的基于 TCP 的 RPC 通信方案(例如 thrift),或者某些特殊的情景,例如是生产者/消费者关系的话,则可能通过 MQ 来进行通信。最终我们采用的是通过 Nginx 的 lua 模块来将 server 以面向侧面的思路耦合

首先,Nginx 的 Lua 模块可以做什么?如果可以,单纯 nginx 和 lua 就可以完成完整的 web 服务。可以连接 redis、memcache、postgresql 等等,同时可以取得请求的所有内容,可以设置返回的头部、正文。配合 lua 的对数据处理能力,基本功能都可以实现。同时 nginx 的 lua 模块整体都是异步,所以性能也相对较好。当然也可以通过 lua 脚本来控制权限,如果验证通过则继续下面的操作,例如是 proxy_pass 代理,简单的示例如下文:


不过,我们这里将用到的主要还是 proxy_pass
, 和 ngx.location.capture
,基本代码如下:

上面的代码主完成了清理用户恶意提交的请求头,以及 request_to_server
 的代码,实现了将原请求内容转发给另一个接口并获得请求后的内容。得到请求结果后,验证请求的参数。

同时在 nginx 里面通过 stream 和 proxy_pass 的方式来配置多个内部地址:


于是,将两个结合起来,就可以实现通过 lua 脚本把原请求的所有参数,包括头部、正文、请求地址、请求方法都带过去,请求另一个地址(和 proxy_pass 类似),并且可以得到最终返回的结果处理

拥有这个能力后,便是本文的重点了:在 Sinatra
 的第一版本中,最终都是 ruby 代码不断调用方法,来完成整个请求的流程。那如果我们把整个流程的打通交给 Nginx 的话该如何实现呢?

  1. 当一个请求进入后,通过 request_to_server
    的能力,把请求依次转发给负责 横切关注点 的服务,例如用户请求校验以及登录校验服务、用户的组织架构服务,最终再去调用主关注点,即本文中的资源服务器;

  2. 每次请求完后,根据前一个流程的返回值决定是否进入下一个流程,例如示例中的 lua 脚本是通过返回的 json 里面的 next 参数来决定是否继续往下走。如果没有这个参数则直接返回当前服务的返回值不再继续请求下去;

  3. 如果出现了 next: true
    这个关键字,则将返回值中的其他内容以请求头的形式传递给下一个服务,且每个服务都会完全信赖这些请求头(所以请求刚进来的时候需要做一些请求头和请求地址处理)。

如果到这里都没有太大问题,你应该可以理解我的意图了。即 Nginx 通过 Lua 脚本来依次请求 横切关注点服务器,如果一路顺畅(每次都有 next: true
),最终会把携带有 横切关注点服务返回的内容的 headers 带给主关注点服务。

于是,在本需求里面,为了保证可拓展性和低耦合性,最终分为了三个服务:

  • 负责请求加密鉴权,用户登录、密码修改的用户验证服务

  • 负责管理企业结构、获取用户权限的组织架构服务

  • 负责具体的 REST 请求处理的资源服务

  1. 当一个用户登录的请求过来,因为密码错误或者加密鉴权失败,会在用户验证服务就直接返回错误。因为返回内容中没有 next: true
    字段,所以直接返回结果;

  2. 当一个用户发起了一个发送短信验证码的服务,这个只是用户验证服务的职能,没有必要继续向下走,于是返回了一个没有 next: true
    字段的返回值,于是 Nginx 直接返回结果;

  3. 当用户登录的时候,虽然通过了用户验证服务的校验,但是该服务无法获取更多的用户信息,于是把该请求继续传递到组织架构服务,组织架构服务在请求头中拿到了手机号信息,于是直接返回了该手机号所对应的详细信息;

  4. 现在发起了一个资源操作的请求,因为用户验证服务无法识别,所以只返回了手机号给 nginx,nginx 继续请求组织架构服务,因为组织架构服务也不能处理,所以继续返回了详细的个人信息给 nginx,nginx 最终拿到这些信息,都通过头部请求了资源服务,然后因为这里是主关注点,也是流程里面最后一个节点,所以通过 proxy_pass
    给了资源服务。


最终,这样做的优势:

  1. 利用 Nginx 异步的优势来弥补 ruby 服务先天性 IO 处理的不足;

  2. 目前只实现了第一条线,即从用户验证 -> 组织信息 -> 资源服务器的顺序,后面如果有需要,可以随时实现其他顺序,而只需要按照在请求头里面加上相应的参数即可,减低耦合性;

  3. 三个模块都有各自的业务和特点,可以针对模块去设计缓存方案,而且可以分模块去设计集群方案;

  4. 对于开发者而言,更容易完成单个服务的测试用例,而不需要过多在开发过程中关注联调。




推荐阅读
  • JavaWeb中读取文件资源的路径问题及解决方法
    在JavaWeb开发中,读取文件资源的路径是一个常见的问题。本文介绍了使用绝对路径和相对路径两种方法来解决这个问题,并给出了相应的代码示例。同时,还讨论了使用绝对路径的优缺点,以及如何正确使用相对路径来读取文件。通过本文的学习,读者可以掌握在JavaWeb中正确找到和读取文件资源的方法。 ... [详细]
  • 解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法
    本文介绍了解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法,包括检查location配置是否正确、pass_proxy是否需要加“/”等。同时,还介绍了修改nginx的error.log日志级别为debug,以便查看详细日志信息。 ... [详细]
  • 目录浏览漏洞与目录遍历漏洞的危害及修复方法
    本文讨论了目录浏览漏洞与目录遍历漏洞的危害,包括网站结构暴露、隐秘文件访问等。同时介绍了检测方法,如使用漏洞扫描器和搜索关键词。最后提供了针对常见中间件的修复方式,包括关闭目录浏览功能。对于保护网站安全具有一定的参考价值。 ... [详细]
  • 2021最新总结网易/腾讯/CVTE/字节面经分享(附答案解析)
    本文分享作者在2021年面试网易、腾讯、CVTE和字节等大型互联网企业的经历和问题,包括稳定性设计、数据库优化、分布式锁的设计等内容。同时提供了大厂最新面试真题笔记,并附带答案解析。 ... [详细]
  • http:my.oschina.netleejun2005blog136820刚看到群里又有同学在说HTTP协议下的Get请求参数长度是有大小限制的,最大不能超过XX ... [详细]
  • 本文介绍了南邮ctf-web的writeup,包括签到题和md5 collision。在CTF比赛和渗透测试中,可以通过查看源代码、代码注释、页面隐藏元素、超链接和HTTP响应头部来寻找flag或提示信息。利用PHP弱类型,可以发现md5('QNKCDZO')='0e830400451993494058024219903391'和md5('240610708')='0e462097431906509019562988736854'。 ... [详细]
  • 单点登录原理及实现方案详解
    本文详细介绍了单点登录的原理及实现方案,其中包括共享Session的方式,以及基于Redis的Session共享方案。同时,还分享了作者在应用环境中所遇到的问题和经验,希望对读者有所帮助。 ... [详细]
  • Redis底层数据结构之压缩列表的介绍及实现原理
    本文介绍了Redis底层数据结构之压缩列表的概念、实现原理以及使用场景。压缩列表是Redis为了节约内存而开发的一种顺序数据结构,由特殊编码的连续内存块组成。文章详细解释了压缩列表的构成和各个属性的含义,以及如何通过指针来计算表尾节点的地址。压缩列表适用于列表键和哈希键中只包含少量小整数值和短字符串的情况。通过使用压缩列表,可以有效减少内存占用,提升Redis的性能。 ... [详细]
  • 本文介绍了OpenStack的逻辑概念以及其构成简介,包括了软件开源项目、基础设施资源管理平台、三大核心组件等内容。同时还介绍了Horizon(UI模块)等相关信息。 ... [详细]
  • GreenDAO快速入门
    前言之前在自己做项目的时候,用到了GreenDAO数据库,其实对于数据库辅助工具库从OrmLite,到litePal再到GreenDAO,总是在不停的切换,但是没有真正去了解他们的 ... [详细]
  • 篇首语:本文由编程笔记#小编为大家整理,主要介绍了软件测试知识点之数据库压力测试方法小结相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 负载均衡_Nginx反向代理动静分离负载均衡及rewrite隐藏路径详解(Nginx Apache MySQL Redis)–第二部分
    nginx反向代理、动静分离、负载均衡及rewrite隐藏路径详解 ... [详细]
  • nginx+多个tomcat
    学习nginx的时候遇到的问题:nginx怎么部署两台tomcat?upstream在网上找的资源,我在nginx配置文件(nginx.conf)中添加了两个server。结果只显 ... [详细]
  • ZABBIX 3.0 配置监控NGINX性能【OK】
    1.在agent端查看配置:nginx-V查看编辑时是否加入状态监控模块:--with-http_stub_status_module--with-http_gzip_stat ... [详细]
  • Nginx Buffer 机制引发的下载故障
    Nginx ... [详细]
author-avatar
空间无悔
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有