netty客户端服务端能否在一个项目里单元测试_Netty系列带你深入刨析Netty运用IO模型和Reactor模型...

1

一 概述

1. Netty是什么&＃xff1f;

Netty是一个高性能的、异步的、基于事件驱动的网络应用型框架。


2. 为什么使用netty?

a Netty是基于Java的NIO实现的&＃xff0c;对各种API进行统一封装。    
b 基于事件模型&＃xff0c;我们可以在对应事件编码自己业务。让开发者聚焦业务。   
c 高度可定制线程模型&＃xff0c;单线程&＃xff0c;一个或者多个线程池。    
d Netty只依赖JDK底层api。    
e 在通信方面&＃xff0c;减少不必要内存拷贝&＃xff0c;提高性能。    
f 在安全方面&＃xff0c;完整的SSL/TLS和StartTLS。 


3. Netty相对于NIO有什么优势&＃xff1f;

a 对NIO中的API进行封装&＃xff0c;使用简单。    
b 写出高质量的NIO程序&＃xff0c;需要多线程和网络编程的知识积累。   
c NIO可靠性差&＃xff0c;如&＃xff1a;客户端从连、网络闪退、半包读写、失败缓存等问题。   
d NIO会导致Selector空轮询&＃xff0c;最终导致CPU100%&＃xff0c;jdk1.7仍然会有这个问题&＃xff0c;只是发送概率变低了。  
21.2 Netty的架构是什么&＃xff1f;

1. 核心(Core)

a 可扩展的事件模型。         
b 统一的通信api(无论是http还是socket都使用同意的api)。      
c 零拷贝机制与字节缓冲区。 


2. 传输服务(Transport Services)

a 支持socket和datagram(数据报)。     
b 支持http协议。    
c In-VM Pipe(管道协议)。 


3. 协议支持(Protocol Support)

a http 以及 websocket。     
b SSL 安全套接字协议⽀持。      
c Google Protobuf (序列化框架)。       
d ⽀持zlib、gzip压缩。    
e ⽀持⼤⽂件的传输。    
f RTSP(实时流传输协议&＃xff0c;是TCP/IP协议体系中的⼀个应⽤层协议)。    
g ⽀持⼆进制协议并且提供了完整的单元测试。  
上面已经对Netty有个简单的认识&＃xff0c;也了解使用Netty的好处。下面从IO模型和Reactor模型这两个角度来刨析使用Netty的好处。

2

二 Netty中的模型(IO、Reactor)

为什么学习Netty时候&＃xff0c;为什么要刨析IO模型和Reactor模型呢&＃xff1f;我也有这个疑问。查看下面文章&＃xff0c;能否有个结论&＃xff1f;欢迎在评论区写下独到见解。

2.1.1 BIO模型

对上图分析

a 客户端的并发数和服务端的线程数是一样多&＃xff0c;随着并发量增加服务端线程数增加&＃xff0c;服务端性能下降。     
b 当连接创建后&＃xff0c;该线程没有操作&＃xff0c;会进行堵塞&＃xff0c;不会释放线程。极大浪费服务器资源。


2.1.2 NIO模型

a Buffer:是缓冲区、底层通过数组实现。在NIO中所有的读写操作都是基于Buffer的。Java基本类型除了boolean都有缓冲区对象。 

b Channel:通常叫为通道&＃xff0c;用于连接客户端和服务端。是双向的&＃xff0c;可以读也可以写。 

c Selector:通常叫多路复用器&＃xff0c;用于找出注册其上的发生读和写的channel。原理如下&＃xff1a;        
 Selector不断轮询其上面的Channel&＃xff0c;Channel发生读或者写&＃xff0c;就会被Slector挑选出来。然后通过SelectionKey获取就绪Channel集合&＃xff0c;进行IO读写操作。
2. 对上图进行分析

一个线程处理多个通道&＃xff0c;避免多线程之间上下问切换造成系统开销。通道只有事件的时候&＃xff0c;才进行读写操作。


2.1.3 AIO模型

在NIO中&＃xff0c;Selector多路复⽤器在做轮询时&＃xff0c;如果没有事件发⽣&＃xff0c;也会进⾏阻塞。
如何能把这个阻塞也优化掉呢&＃xff1f;那么AIO就在这样的背景下诞⽣了。
2. AIO简介

叫异步IO,该异步依赖操作系统底层异步IO。
3. AIO的基本流程

用户线程通过系统调用&＃xff0c;告知kernel内核启动某个IO操作&＃xff0c;用户线程返回。kernel内核在
整个IO操作(包括数据准备、数据复制)完成后&＃xff0c;通知⽤户程序&＃xff0c;⽤户执⾏后续的业务操作。


4. AIO模型存在问题

a 完成事件的注册和传递&＃xff0c;需要操作系统底层提供大量支持。
b Windows 系统下通过 IOCP 实现了真正的异步 I/O。但是目前高并发系统都是部署到Linux上。
c Linux系统支持AIO模型不稳定。该系统下异步都是以NIO实现的。
上文介绍IO模型的三种情况&＃xff1a;BIO模型、NIO模型、AIO模型。因为AIO模型是依赖操作系统底层&＃xff0c;而且Linux支持不稳定&＃xff0c;所以只需对其有个简单认识。NIO相对于BIO减少了堵塞和线程开销。42.2 常见Reactor模型

2.2.1 Reactor模型概述

是一种并发编程模型&＃xff0c;是一种思想&＃xff0c;具有指导意义。
2. 常见的Reactor模型

单线程模型、多线程模型、主从多线程模型。Netty非常友好支持前面三种模型,一般采用主从架构方式。
3. Reactor模型三种角色

a Reactor 监听和分配事件
b Acceptor 处理客户端新连接&＃xff0c;并分配请求到处理链中。
c Handler 将自身和事件绑定&＃xff0c;执行读写操作(完成channel的读入&＃xff0c;执行业务逻辑并将结果写道channel)。


2.2.1 单线程模型

上图说明

a 一个线程完成业务处理。
b Reactor相当于一个多路复用器&＃xff0c;用于监听事件&＃xff0c;并把发生的事件传递给Handler或者Acceptor。
c 如果是建立连接事件&＃xff0c;Reactor传递给Acceptor。如果是读写事件&＃xff0c;Reactor传给Handler。
1. 优点

a 优点
 结构简单、单线程完成&＃xff0c;没有进程通信问题。对一些业务场景简单&＃xff0c;对性能要求不高的应用场景。
2. 缺点

a 发挥不了服务器多核优势

b 客户端连接过多导致客户端连接多&＃xff0c;Reactor线程负载过重。导致客户端连接超时&＃xff0c;
  最终导致大量信息积压。性能低。
  
c 单点故障后&＃xff0c;导致系统通信故障。


2.2.2 多线程模型

上图说明

相对于单线程而言&＃xff0c;不同点在于&＃xff0c;Handler只负责用户响应和事件分发。真正业务逻辑在work线程池中处理。
1. 存在问题

a 多线程数据共享比较复杂。如子线程完成业务处理后&＃xff0c;把结果传递给主线程Reactor&＃xff0c;
  就会涉及数据的互斥和保护机制。
  
b Reactor承担所有的监听和响应。如果百万客户端连接&＃xff0c;获取服务端进行客户端握手安
  全认证&＃xff0c;认证本身就很消耗性能。


2.2.3 主从多线程模型

上图说明

a Reactor分成两个部分&＃xff0c;MainReactor负责监听server socket&＃xff0c;用来处理网络io建立&＃xff0c;
将建立的socketChannel指定注册给SubReactor。
b SubReactor建立和socket数据交互和事件业务处理。


1. 优点

a 响应快不必为单个同步事件所阻塞&＃xff0c;虽然Reactor本身是同步的
b 可扩展性强 通过扩展SubReactor充分利用CPU资源
c 可复用性高 该模型和具体事件处理逻辑无关&＃xff0c;具有很高复用性。


2.2.4 Netty模型(主要是主从多线程模型)

1. 上图解释

a 在netty模型中&＃xff0c;负责处理新连接的是BossGroup&＃xff0c;负责其他事件的是WorkGroup。
 (Group代表线程池的概念)
 
b NioEventLoop表示一个不断循环处理任务的线程&＃xff0c;用于监听绑定在上面的读/写事件。

c PipeLine里面放着一个个ChannelHandler&＃xff0c;ChannelHandler用于业务处理。

上文介绍了Reactor三种模型&＃xff1a;单线程、多线程、主从多线程模型。也对三种模型有了个认识。来看看Netty常用的主从多线程模型&＃xff0c;将监听客户端事件&＃xff0c;建立连接、业务处理&＃xff0c;且分开&＃xff0c;对高并发更好的支持。感觉我对这三种模型没有深刻印象&＃xff0c;欢迎留言区&＃xff0c;留下各位高见。

预告下文

从实战带你实现服务端和客户端之间通信&＃xff0c;并带你了解下各个组件的作用&＃xff0c;执行原理。(与本篇文章一起发布的&＃xff0c;感兴趣进入公众号&＃xff0c;查看菜单Netty系列)

在上班之余&＃xff0c;学习黑马架构课程一段时间了。持续的分享一些干货&＃xff0c;如&＃xff1a;Netty、MySQL、缓存、中间件、中台、自动化部署、设计模式、JVM、Spring源码、MyBatis源码。如果你想对该公众号有深入了解&＃xff0c;在公众号回复【故事】。

关注公众号&＃xff0c;回复【架构面试】&＃xff0c;获取架构课程面试题。如果有任何建议或者想说的话&＃xff0c;请直接向公众号发消息。运营小姐姐看到后会立即处理。烦请耐心等待&＃xff01;蟹蟹&＃xff01;