微服务技术架构

“ 微服务(MicroServices)架构是当前互联网业界的一个技术热点&＃xff0c;大家是否明白一个微服务架构有哪些技术关注点(technical concerns)&＃xff1f;需要哪些基础框架或组件来支持微服务架构&＃xff1f;这些框架或组件该如何选型呢&＃xff1f;”

在公众号中专门有微服务菜单栏&＃xff0c;里面讲解了Spring boot和Spring Cloud的一些入门案例。但是并没有对微服务技术有一个深入的介绍&＃xff0c;今天我们就来看一下微服务的技术架构。

一&＃xff1a;服务注册和发现&＃xff0c;负载均衡和健康检查

微服务架构和单块架构&＃xff08;将整个应用作为一个整体&＃xff0c;部署在同一个Web 容器&＃xff0c;如Tomcat 或者Jetty 中&＃xff09;不同&＃xff0c;是因为微服务架构是由一系列职责单一的细粒度服务构成的分布式网状结构&＃xff0c;服务之间通过轻量机制进行通信。但是你是否想过服务之间通过轻量机制进行通信必然引入服务注册和发现的问题&＃xff0c;服务提供方要注册通告服务地址&＃xff0c;服务的调用方要能发现目标服务。

服务的调用方要能发现目标服务&＃xff0c;同时服务提供方一般以集群方式提供服务&＃xff0c;也就引入了负载均衡和健康检查问题。根据负载均衡LB所在位置的不同&＃xff0c;目前主要的服务注册、发现和负载均衡方案有三种&＃xff1a;

第一种是集中式LB方案&＃xff0c;如下图&＃xff0c;在服务消费者和服务提供者之间有一个独立的LB&＃xff0c;LB通常是专门的硬件设备如F5&＃xff0c;或者基于软件如LVS&＃xff0c;HAproxy等实现。LB上有所有服务的地址映射表&＃xff0c;通常由运维配置注册&＃xff0c;当服务消费方调用某个目标服务时&＃xff0c;它向LB发起请求&＃xff0c;由LB以某种策略&＃xff08;比如Round-Robin&＃xff09;做负载均衡后将请求转发到目标服务。LB一般具备健康检查能力&＃xff0c;能自动摘除不健康的服务实例。服务消费方如何发现LB呢&＃xff1f;通常的做法是通过DNS&＃xff0c;运维人员为服务配置一个DNS域名&＃xff0c;这个域名指向LB。

集中式LB方案实现简单&＃xff0c;在LB上也容易做集中式的访问控制&＃xff0c;这一方案目前还是业界主流。集中式LB的主要问题是单点问题&＃xff0c;所有服务调用流量都经过LB&＃xff0c;当服务数量和调用量大的时候&＃xff0c;LB容易成为瓶颈&＃xff0c;且一旦LB发生故障对整个系统的影响是灾难性的。另外&＃xff0c;LB在服务消费方和服务提供方之间增加了一跳(hop)&＃xff0c;有一定性能开销。

第二种是进程内LB方案&＃xff0c;针对集中式LB的不足&＃xff0c;进程内LB方案将LB的功能以库的形式集成到服务消费方进程里头&＃xff0c;该方案也被称为软负载(Soft Load Balancing)或者客户端负载方案&＃xff0c;下图展示了这种方案的工作原理。这一方案需要一个服务注册表(Service Registry)配合支持服务自注册和自发现&＃xff0c;服务提供方启动时&＃xff0c;首先将服务地址注册到服务注册表&＃xff08;同时定期报心跳到服务注册表以表明服务的存活状态&＃xff0c;相当于健康检查&＃xff09;&＃xff0c;服务消费方要访问某个服务时&＃xff0c;它通过内置的LB组件向服务注册表查询&＃xff08;同时缓存并定期刷新&＃xff09;目标服务地址列表&＃xff0c;然后以某种负载均衡策略选择一个目标服务地址&＃xff0c;最后向目标服务发起请求。这一方案对服务注册表的可用性(Availability)要求很高&＃xff0c;一般采用能满足高可用分布式一致的组件&＃xff08;例如Zookeeper, Consul, Etcd等&＃xff09;来实现。

进程内LB方案是一种分布式方案&＃xff0c;LB和服务发现能力被分散到每一个服务消费者的进程内部&＃xff0c;同时服务消费方和服务提供方之间是直接调用&＃xff0c;没有额外开销&＃xff0c;性能比较好。但是&＃xff0c;该方案以客户库(Client Library)的方式集成到服务调用方进程里头&＃xff0c;如果企业内有多种不同的语言栈&＃xff0c;就要配合开发多种不同的客户端&＃xff0c;有一定的研发和维护成本。另外&＃xff0c;一旦客户端跟随服务调用方发布到生产环境中&＃xff0c;后续如果要对客户库进行升级&＃xff0c;势必要求服务调用方修改代码并重新发布&＃xff0c;所以该方案的升级推广有不小的阻力。

进程内LB的案例是Netflix的开源服务框架&＃xff0c;对应的组件分别是&＃xff1a;Eureka服务注册表&＃xff0c;Karyon服务端框架支持服务自注册和健康检查&＃xff0c;Ribbon客户端框架支持服务自发现和软路由。另外&＃xff0c;阿里开源的服务框架Dubbo也是采用类似机制。

第三种是主机独立LB进程方案&＃xff0c;该方案是针对第二种方案的不足而提出的一种折中方案&＃xff0c;原理和第二种方案基本类似&＃xff0c;不同之处是&＃xff0c;他将LB和服务发现功能从进程内移出来&＃xff0c;变成主机上的一个独立进程&＃xff0c;主机上的一个或者多个服务要访问目标服务时&＃xff0c;他们都通过同一主机上的独立LB进程做服务发现和负载均衡&＃xff0c;见下图Fig 3。

该方案也是一种分布式方案&＃xff0c;没有单点问题&＃xff0c;一个LB进程挂了只影响该主机上的服务调用方&＃xff0c;性能好&＃xff0c;同时&＃xff0c;该方案还简化了服务调用方&＃xff0c;不需要为不同语言开发客户库&＃xff0c;LB的升级不需要服务调用方改代码。该方案的不足是部署较复杂&＃xff0c;环节多&＃xff0c;出错调试排查问题不方便。

该方案的典型案例是Airbnb的SmartStack服务发现框架&＃xff0c;对应组件分别是&＃xff1a;Zookeeper作为服务注册表&＃xff0c;Nerve独立进程负责服务注册和健康检查&＃xff0c;Synapse/HAproxy独立进程负责服务发现和负载均衡。Google最新推出的基于容器的PaaS平台Kubernetes&＃xff0c;其内部服务发现采用类似的机制。

二&＃xff1a;服务前端路由

微服务除了内部相互之间调用和通信之外&＃xff0c;最终要以某种方式暴露出去&＃xff0c;才能让外界系统&＃xff08;例如客户的浏览器、移动设备等等&＃xff09;访问到&＃xff0c;这就涉及服务的前端路由&＃xff0c;对应的组件是服务网关(Service Gateway)&＃xff0c;见下图&＃xff0c;网关是连接企业内部和外部系统的一道门&＃xff0c;有如下关键作用&＃xff1a;

1.服务反向路由&＃xff0c;网关要负责将外部请求反向路由到内部具体的微服务&＃xff0c;这样虽然企业内部是复杂的分布式微服务结构&＃xff0c;但是外部系统从网关上看到的就像是一个统一的完整服务&＃xff0c;网关屏蔽了后台服务的复杂性&＃xff0c;同时也屏蔽了后台服务的升级和变化。

2.安全认证和防爬虫&＃xff0c;所有外部请求必须经过网关&＃xff0c;网关可以集中对访问进行安全控制&＃xff0c;比如用户认证和授权&＃xff0c;同时还可以分析访问模式实现防爬虫功能&＃xff0c;网关是连接企业内外系统的安全之门。

3.限流和容错&＃xff0c;在流量高峰期&＃xff0c;网关可以限制流量&＃xff0c;保护后台系统不被大流量冲垮&＃xff0c;在内部系统出现故障时&＃xff0c;网关可以集中做容错&＃xff0c;保持外部良好的用户体验。

4.监控&＃xff0c;网关可以集中监控访问量&＃xff0c;调用延迟&＃xff0c;错误计数和访问模式&＃xff0c;为后端的性能优化或者扩容提供数据支持。

5.日志&＃xff0c;网关可以收集所有的访问日志&＃xff0c;进入后台系统做进一步分析。

除以上基本能力外&＃xff0c;网关还可以实现线上引流&＃xff0c;线上压测&＃xff0c;线上调试(Surgical debugging)&＃xff0c;金丝雀测试(Canary Testing)&＃xff0c;数据中心双活(Active-Active HA)等高级功能。

网关通常工作在7层&＃xff0c;有一定的计算逻辑&＃xff0c;一般以集群方式部署&＃xff0c;前置LB进行负载均衡。

开源的网关组件有Netflix的Zuul&＃xff0c;特点是动态可热部署的过滤器(filter)机制&＃xff0c;其它如HAproxy&＃xff0c;Nginx等都可以扩展作为网关使用。

在介绍过服务注册表和网关等组件之后&＃xff0c;我们可以通过一个简化的微服务架构图(Fig 5)来更加直观地展示整个微服务体系内的服务注册发现和路由机制&＃xff0c;该图假定采用进程内LB服务发现和负载均衡机制。在下图的微服务架构中&＃xff0c;服务简化为两层&＃xff0c;后端通用服务&＃xff08;也称中间层服务Middle Tier Service&＃xff09;和前端服务&＃xff08;也称边缘服务Edge Service&＃xff0c;前端服务的作用是对后端服务做必要的聚合和裁剪后暴露给外部不同的设备&＃xff0c;如PC&＃xff0c;Pad或者Phone&＃xff09;。后端服务启动时会将地址信息注册到服务注册表&＃xff0c;前端服务通过查询服务注册表就可以发现然后调用后端服务&＃xff1b;前端服务启动时也会将地址信息注册到服务注册表&＃xff0c;这样网关通过查询服务注册表就可以将请求路由到目标前端服务&＃xff0c;这样整个微服务体系的服务自注册自发现和软路由就通过服务注册表和网关串联起来了。如果以面向对象设计模式的视角来看&＃xff0c;网关类似Proxy代理或者Façade门面模式&＃xff0c;而服务注册表和服务自注册自发现类似IoC依赖注入模式&＃xff0c;微服务可以理解为基于网关代理和注册表IoC构建的分布式系统。

三&＃xff1a;服务容错

当企业微服务化以后&＃xff0c;服务之间会有错综复杂的依赖关系&＃xff0c;例如&＃xff0c;一个前端请求一般会依赖于多个后端服务&＃xff0c;技术上称为1 -> N扇出(见下图)。在实际生产环境中&＃xff0c;服务往往不是百分百可靠&＃xff0c;服务可能会出错或者产生延迟&＃xff0c;如果一个应用不能对其依赖的故障进行容错和隔离&＃xff0c;那么该应用本身就处在被拖垮的风险中。在一个高流量的网站中&＃xff0c;某个单一后端一旦发生延迟&＃xff0c;可能在数秒内导致所有应用资源(线程&＃xff0c;队列等)被耗尽&＃xff0c;造成所谓的雪崩效应(Cascading Failure&＃xff0c;见图二)&＃xff0c;严重时可致整个网站瘫痪。

经过多年的探索和实践&＃xff0c;业界在分布式服务容错一块探索出了一套有效的容错模式和最佳实践&＃xff0c;主要包括&＃xff1a;

1.电路熔断器模式(Circuit Breaker Patten), 该模式的原理类似于家里的电路熔断器&＃xff0c;如果家里的电路发生短路&＃xff0c;熔断器能够主动熔断电路&＃xff0c;以避免灾难性损失。在分布式系统中应用电路熔断器模式后&＃xff0c;当目标服务慢或者大量超时&＃xff0c;调用方能够主动熔断&＃xff0c;以防止服务被进一步拖垮&＃xff1b;如果情况又好转了&＃xff0c;电路又能自动恢复&＃xff0c;这就是所谓的弹性容错&＃xff0c;系统有自恢复能力。下图是一个典型的具备弹性恢复能力的电路保护器状态图&＃xff0c;正常状态下&＃xff0c;电路处于关闭状态(Closed)&＃xff0c;如果调用持续出错或者超时&＃xff0c;电路被打开进入熔断状态(Open)&＃xff0c;后续一段时间内的所有调用都会被拒绝(Fail Fast)&＃xff0c;一段时间以后&＃xff0c;保护器会尝试进入半熔断状态(Half-Open)&＃xff0c;允许少量请求进来尝试&＃xff0c;如果调用仍然失败&＃xff0c;则回到熔断状态&＃xff0c;如果调用成功&＃xff0c;则回到电路闭合状态。

2.舱壁隔离模式(Bulkhead Isolation Pattern)&＃xff0c;顾名思义&＃xff0c;该模式像舱壁一样对资源或失败单元进行隔离&＃xff0c;如果一个船舱破了进水&＃xff0c;只损失一个船舱&＃xff0c;其它船舱可以不受影响 。线程隔离(Thread Isolation)就是舱壁隔离模式的一个例子&＃xff0c;假定一个应用程序A调用了Svc1/Svc2/Svc3三个服务&＃xff0c;且部署A的容器一共有120个工作线程&＃xff0c;采用线程隔离机制&＃xff0c;可以给对Svc1/Svc2/Svc3的调用各分配40个线程&＃xff0c;当Svc2慢了&＃xff0c;给Svc2分配的40个线程因慢而阻塞并最终耗尽&＃xff0c;线程隔离可以保证给Svc1/Svc3分配的80个线程可以不受影响&＃xff0c;如果没有这种隔离机制&＃xff0c;当Svc2慢的时候&＃xff0c;120个工作线程会很快全部被对Svc2的调用吃光&＃xff0c;整个应用程序会全部慢下来。

3.限流(Rate Limiting/Load Shedder)&＃xff0c;服务总有容量限制&＃xff0c;没有限流机制的服务很容易在突发流量(秒杀&＃xff0c;双十一)时被冲垮。限流通常指对服务限定并发访问量&＃xff0c;比如单位时间只允许100个并发调用&＃xff0c;对超过这个限制的请求要拒绝并回退。

4.回退(fallback)&＃xff0c;在熔断或者限流发生的时候&＃xff0c;应用程序的后续处理逻辑是什么&＃xff1f;回退是系统的弹性恢复能力&＃xff0c;常见的处理策略有&＃xff0c;直接抛出异常&＃xff0c;也称快速失败(Fail Fast)&＃xff0c;也可以返回空值或缺省值&＃xff0c;还可以返回备份数据&＃xff0c;如果主服务熔断了&＃xff0c;可以从备份服务获取数据。

Netflix将上述容错模式和最佳实践集成到一个称为Hystrix的开源组件中&＃xff0c;凡是需要容错的依赖点(服务&＃xff0c;缓存&＃xff0c;数据库访问等)&＃xff0c;开发人员只需要将调用封装在Hystrix Command里头&＃xff0c;则相关调用就自动置于Hystrix的弹性容错保护之下。Hystrix组件已经在Netflix经过多年运维验证&＃xff0c;是Netflix微服务平台稳定性和弹性的基石&＃xff0c;正逐渐被社区接受为标准容错组件

四&＃xff1a;Netflix的微服务框架

Netflix是一家成功实践微服务架构的互联网公司&＃xff0c;几年前&＃xff0c;Netflix就把它的几乎整个微服务框架栈开源贡献给了社区&＃xff0c;这些框架和组件包括&＃xff1a;

1.Eureka:　服务注册发现框架

2.Zuul:　服务网关

3.Karyon:　服务端框架

4.Ribbon:　客户端框架

5.Hystrix: 服务容错组件

6.Archaius: 服务配置组件

7.Servo: Metrics组件

8.Blitz4j: 日志组件

Netflix的开源框架组件已经在Netflix的大规模分布式微服务环境中经过多年的生产实战验证&＃xff0c;正逐步被社区接受为构造微服务框架的标准组件。Pivotal去年推出的Spring Cloud开源产品&＃xff0c;主要是基于对Netflix开源组件的进一步封装&＃xff0c;方便Spring开发人员构建微服务基础框架。对于一些打算构建微服务框架体系的公司来说&＃xff0c;充分利用或参考借鉴Netflix的开源微服务组件(或Spring Cloud)&＃xff0c;在此基础上进行必要的企业定制&＃xff0c;无疑是通向微服务架构的捷径。

今天小程序更新题库为&＃xff1a;

1.什么是自旋锁

2.说一说Synchronized

3.什么是偏向锁&＃xff1f;

4.什么是轻量级锁&＃xff1f;

5.lock和synchronize对比

更多文章请关注公众号&＃xff1a;每天学Java。想获得更多最新面试提醒请进入小程序&＃xff1a;每天学Java

 公众号二维码&＃xff1a;                                                                                          小程序二维码&＃xff1a;