VarnishCDN加速的实现(单个后端服务器)

一.Varnish简介

• Varnish是什么？
  Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好。
• 简介：
  1.Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了CPU内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此Squid Cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构。
  2.varnish项目是2006年发布的第一个版本0.9.距今已经有十多年了，此文档之前也提过varnish还不稳定，那是2007年时候编写的，经过varnish开发团队和网友们的辛苦耕耘，现在的varnish已经很健壮。很多门户网站已经部署了varnish，并且反应都很好，甚至反应比squid还稳定，且效率更高，资源占用更少。相信在反向代理，web加速方面，varnish已经有足够能力代替squid。
• Varnish工作流程？
  1.Varnish与一般服务器软件类似，分为master（management）进程和child（worker，主要做cache的工作）进程。master进程读入命令，进行一些初始化，然后fork并监控child进程。child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。
  2.针对文件缓存部分，master读入存储配置（-s file[,path[,size[,granularity]]] ），调用合适的存储类型，然后创建/读入相应大小的缓存大文件。接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
  3.在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap），此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。
  4.接着，真正的工作开始，Varnish的某个负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
  5.分配缓存的过程是这样的：它根据所读到object的大小，创建相应大小的缓存文件。为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。如果缓存已满，就根据LRU机制，把最旧的object释放掉。
  6.释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期，如果超初设定的TTL（Time To Live）没有被访问，就删除之，并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块，如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。
  7.整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中，如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。

二.CDN简介

• CDN是什么？
  CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。
• 基本思路：
  基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。
• 服务模式：
  1.内容分发网络(CDN)是一种新型网络构建方式，它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度，CDN代表了一种基于质量与秩序的网络服务模式。
  2.简单地说，内容分发网络(CDN)是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件，而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。
  3.总的来说，内容服务基于缓存服务器，也称作代理缓存(Surrogate)，它位于网络的边缘，距用户仅有"一跳"(Single Hop)之遥。同时，代理缓存是内容提供商源服务器（通常位于CDN服务提供商的数据中心）的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户，即内容供应商，向最终用户提供尽可能好的体验，而这些用户是不能容忍请求响应时间有任何延迟的。

三.实验环境及其搭建

实验环境：

实验环境的搭建:

• 官网下载rhel6.5镜像，最小化安装(用不到图形界面)一个6.5版本的虚拟机
• 虚拟机的相关设置
  1.配置网络
  
  2.配置yum源
  
  
  3.vim /etc/hosts 设置本地域名解析
  
  4.cd /etc/udev/rules.d 进到该目录下删除70开头文件
  
  5.vim /etc/sysconfig/selinux 设置selinux为disabled模式
  
  6.关闭火墙(6.5版本使用的是iptables)
  
  7.安装需要的软件包
  
  8.设置完后poweroff关掉虚拟机，此虚拟机之后不会再打开，该虚拟机是用来快照的
• 快照三台虚拟机(server1，server2，server3)并配置网络及主机名
  1.cd /var/lib/libvirt/images ##进到该目录下
  qemu-img create -f qcow2 -b rhel6.5.qcow2 server1/2/3 ##快照虚拟机
  
  2.连续安装三台虚拟机
  
  
  
  
  
  
  3.虚拟机安装完后进行网络配置，ip分别设置为172.25.4.1/2/3，并将主机名分别改为server1/2/3即可，修改完ip需要/etc/init.d/network restart重起网络
  

四.Varnish实现CDN加速(单个后端服务器)的部署

配置server1：

1. 从官网下载varnish-3.0.5-1.el6.x86_64.rpm 和 varnish-libs-3.0.5-1.el6.x86_64.rpm两个软件包
2. 安装这两个软件包
   
3. poweroff关掉server1，将memory改为2048
   
   修改完后再次ssh连接，sysctl -a | grep file查看是否修改成功
   
4. 修改varnish配置文件，将端口改为80
   vim /etc/sysconfig/varnish
   
5. 修改varnish用户安全配置文件
   vim /etc/security/limits.conf 在最后写入如下内容
   
   注意：因为varnish这个程序运行在varnish这个用户的私有空间内，内核对普通用户限制的最大文件数为1024.对varnish用户限制的最大文件数为131072，我们需要满足131072这个最大值。所以在之前我们要将server1的memory改为2048
6. 修改varnish默认文件,配置单个后端服务器
   vim /etc/varnish/default.vcl
   
7. 修改完配置文件后/etc/init.d/varnish restart开启varnish服务即可
   
8. 开起后 ps aux | grep varnish 查看进程是否在运行
   

配置server2

1. 下载http服务
   
2. 进到http默认发布目录下编写文件
   
   
3. 编写完后/etc/init.d/httpd start 开启服务即可
   

客户大测试：

在真机上curl 172.25.4.1，访问的是server2主机http服务默认发布文件的内容

五.清除缓存

配置server1

1. 编辑varnish默认配置文件
   vim /etc/varnish/default.vcl ，写入如下内容
   2. /etc/init.d/varnish reload，重新加载配置文件
   

客户端测试：

1. 真机上curl -I 172.25.4.1访问时，第一次访问时是MISS，第二次访问时是HIT，因为第一次访问后已经缓存到了

   第一次访问：
   
   第二次访问：
   

清除缓存：

varnishadm ban.url .*$           ##清除所有缓存
varnishadm ban.url /index.html   ##清除网页的缓存

清除缓存后再次测试，显示为MISS，则清除缓存成功