Varnish-2.13安装配置方法

2.X版本相对1.X版本的vcl语法有一些小的改动，原来的insert改名成了deliver，2.X版本需要使用return来调用 lookup,pass,pipe等功能。
2.1.3改动： vcl_fetch中 obj.http.Set-COOKIE 变成 beresp.http.Set-COOKIE ，也就是obj用beresp代替

一、Varnish 安装RedHat/CentOS系统环境下的依耐关系
yum install automake autoconflibtool ncurses-devel libxslt groff pcre-devel pkgconfig

可选择更新下pcre
tar jxvf pcre-8.02.tar.bz2
cd pcre-8.02
./configure-enable-ebcdic -enable-pcregrep-libbz2 -enable-pcregrep-libz

可选择：如果你的gcc版本是4.2.0或更高的版本，可以加上-enable-extra-warnings编译参数，在出错时，得到附加的警告信息。(备注：装这个超慢，现在我干脆不装了，出错的附加警告信息是浮云，大家就当看看gcc-4.2.0的简单安装吧)
tar zxvf gcc-4.2.4.tar.gz
cd gcc-4.2.4
mkdir /usr/local/gcc-4.2.4
./configure --prefix=/usr/local/gcc-4.2.4 --enable-threads=posix--disable-checking --host=i386-redhat-linux --with-system-zlib--enable-languages=c,c++
make
make install
设定环境变量，在/etc/profile里加入如下：
PATH=/usr/local/gcc-4.2.4/bin:$PATH
export PATH
LD_LIBRARY_PATH=/usr/local/gcc-4.2.4/lib:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH
注销一下，或source /etc/profile，然后gcc-v看一下版本，如果是gcc-4.2.4就对了。

下载地址（2010-08-05为最新版）
http://nchc.dl.sourceforge.net/project/varnish/varnish/2.1.3/varnish-2.1.3.tar.gztar zxvf varnish-2.1.3.tar.gz

cd varnish-2.1.3.
/autogen.sh　　检查软件的依耐关系是否满足（如果你是按我的步骤来的话，这个可无视）
./configure --prefix=/usr/local/varnish --enable-dependency-tracking --enable-debugging-symbols --enable-developer-warnings -enable-extra-warnings
make；make install

创建varnish用户和组，以及Varnish缓存文件存放目录（/usr/local/varnish/vcache）：
/usr/sbin/groupadd varnish
/usr/sbin/useradd -M -d /dev/null -s /sbin/nologin  -g varnish varnish
mkdir /usr/local/varnish/vcache
chmod +w /usr/local/varnish/vcache
chown -R varnish:varnish /usr/local/varnish/vcache

创建Varnish日志目录（/usr/local/varnish/logs）：
mkdir /usr/local/varnish/logschmod +w /usr/local/varnish/logs
chown -R varnish:varnish /usr/local/varnish/logs
chmod 777 /usr/local/varnish/cut_varnish_log.sh
chmod 777 /usr/local/varnish/varnish.sh
chmod 777 /usr/local/varnish/varnishlog.sh  

vi /usr/local/varnish/etc/varnish/default.vcl
backend rserver1
{   
.host ="172.16.8.147";   
.port = "80";   
.probe = {   
.timeout = 5s;           #等待多长时间超时   
.interval = 2s;            #检查的间隔时间   
.window = 10;            #varnish将维持10个slidingwindow的结果   
.threshold = 8;           #至少有8次.windows检查是成功的，就宣告backends健康   
}
}
backend rserver2
{   
.host ="172.16.8.155";   
.port = "80";   
.probe = {   
.timeout = 10s;         
.interval = 5s;         
.window = 10;           
.threshold = 8;   
}
}

#指定一个名为realserver组 使用roun-robin机制
director realserver round-robin {   
{     
.backend = rserver1;
#当使用random机制时，必须指定.weight(再简单点讲，roun-robin不能指定权重)
#.weight = 5;      
}   
{     
.backend = rserver2;
#.weight = 6; (权重越大，分配的访问越多，可根据服务器性能来设定)  
}
}

#Varnish允许localhost、127.0.0.1、后端真实IP等来源IP通过PURGE方法清除缓存；
acl purge {      
"localhost";      
"127.0.0.1";      
"172.16.8.147";      
"172.16.8.155";
}

#vcl_recv在请求的开始被调用，在接收、解析后，决定是否响应请求，怎么响应，使用哪个后台服务器。
sub vcl_recv
{
#对域名为172.16.8.149的请求使用realserver组处理，非域名的请求则返回“No cahce for this domain”      
  if (req.http.host ~"172.16.8.149")
  {           
     set req.backend =realserver;      
  }        
     else
     {           
       error 200 "Nocahce for this domain";      
     }                 
       if (req.request =="PURGE")
         {              
           if (!client.ip ~purge)
             {                 
                error 405"Not allowed.";              
             }      
          else
             {     
                return (pipe);      
             }     
}
#获取远端IP            
if(req.http.x-forwarded-for)
{               
set req.http.X-Forwarded-For =              
req.http.X-Forwarded-For "," client.ip;      
}
else
{                 
set req.http.X-Forwarded-For =client.ip;            
}
#对HTTP协议中的GET、HEAD请求进行缓存，对POST请求透过，让其直接访问后端Web服务器。之所以这样配置，是因为POST请求一般是发送数据给服务器的，需要服务器接收、处理，所以不缓存；                    
if (req.request !="GET" && req.request != "HEAD")
{              
return (pipe);      
}      
if (req.http.Expect)
{            
return (pipe);     
}     
if (req.http.Authenticate|| req.http.COOKIE)
{              
return (pass);      
}      
if (req.http.Cache-Control~ "no-cache")
{            
return (pass);      
}
#对ASP或者PHP文件不缓存（这个应该不用解释吧）           
if(req.url ~"\.asp" || req.url ~ "\.php" )
{              
return (pass);      
}      
else
{      
return (lookup);      
}
}sub vcl_pipe
{   
return (pipe);
}sub vcl_pass
{   
return (pass);
}sub vcl_hash
{   
set req.hash += req.url;   
if (req.http.host)
{        
set req.hash +=req.http.host;   
}
else
{      
set req.hash +=server.ip;   
}  
  return (hash);
}sub vcl_hit
{   
if (req.request =="PURGE")
{      
set obj.ttl = 0s;            
error 200"Purged.";   
}   
if (!obj.cacheable)
{        
return (pass);   
}   
return (deliver);
}sub vcl_miss
{      
if (req.request =="PURGE")
{        
error 404 "Not incache.";      
}
#阻止spider网络蜘蛛            
if (req.http.user-agent ~"spider")     
{         
error 503 "Notpresently in cache";      
}
     return (fetch);
}
# vcl_fetch在一个文件成功从后台获取后被调用，他的任务就是改变响应的头文件，触发ESI进程，在后台服务器轮询尝试失败的请求。
sub vcl_fetch
{
#Varnish对以.txt和.js结尾的URL缓存时间设置1小时，对其他的URL缓存时间设置为30天。      
if (req.request =="GET" && req.url ~ "\.(txt|js)$")
{        
set beresp.ttl = 3600s;      
}      
else
{        
set beresp.ttl = 30d;     
}     
if (!beresp.cacheable)
{        
return (pass);     
}      
if (beresp.http.Set-COOKIE)
{      
return (pass);     
}      
return (deliver);
}

sub vcl_deliver
{  
return (deliver);
}

sub vcl_error
{   
set obj.http.Content-Type ="text/html; charset=utf-8";   
synthetic {"                    Error "}obj.status " " obj.response {"     

"}obj.response {"

GuruMeditation:

XID: "}req.xid {"

Varnish cacheserver

启动的方法：
/usr/local/varnish/sbin/varnishd -n/usr/local/varnish/vcache -f /usr/local/varnish/etc/varnish/default.vcl -a0.0.0.0:80 -s file,/usr/local/varnish/vcache/varnish_cache.data,1G -p user=varnish-p group=varnish -p default_ttl=14400 -p thread_pool_max=8000 -psend_timeout=20 -w 5,51200,30 -T 127.0.0.1:808 -P/usr/local/varnish/var/varnish.pid
参数说明：
-f /usr/local/varnish/etc/varnish/default.vcl   选项指定varnishd使用哪个配置文件（这个可以自己任意指定比较灵活）
-s file,/usr/local/varnish/vcache/varnish_cache.data,1G 这个 ?s 选项用来确定varnish使用的存储类型和存储容量，1G 定义多少内存。
-T 127.0.0.1：808    Varnish有一个基于文本的管理接口，启动它的话可以在不停止varnish的情况下来管理varnish。您可以指定管理软件监听哪个接口。启动后可以通过在本机telnet 127.0.0.1 808连接varnish的管理端口，查看运行状态等 help查看命令
-a 0.0.0.0：80   制定varnish监听所有IP发给80端口的http请求（也可指定特定IP）
-w 5,512000,30  控制每个进程的线程数的，格式：-w min,max,timeout [default: -w2,500,300]，关于这个不能像1.XX版本那样设得很大，否则varnish会很慢。

#日志记录 varnishlog.sh
chmod777 /usr/local/varnish/varnishlog.sh
/usr/local/varnish/bin/varnishncsa-n  /usr/local/varnish/vcache -w /usr/local/varnish/logs/varnish.log
一个每天0点运行，按天切割Varnish日志，生成一个压缩文件，设置在每天00:00定时执行：
/usr/bin/crontab -e或者vi /var/spool/cron/root
chmod 777  /usr/local/varnish/cut_varnish_log.sh
00 00 * * */bin/bash  /usr/local/varnish/cut_varnish_log.sh
#!/bin/sh
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /usr/local/varnish/logs/varnish.log /usr/local/varnish/logs/${date}.log
/usr/bin/nohup /usr/local/varnish/varnishlog.sh >/dev/null 2>&1 &cd/usr/local/varnish/logs
tar zcvf ${date}.tar.gz ${date}.log
rm -f  ${date}.log
#停止脚本
killall -9 varnishd
killall -9 varnishncsa

通过Varnish管理端口，使用正则表达式批量清除缓存：
　　(1)、例：清除类似http://blog.s135.com/a/zhangyan.html的URL地址）：/usr/local/varnish/bin/varnishadm-T 127.0.0.1:808 url.purge /a/
　　(2)、例：清除所有缓存：/usr/local/varnish/bin/varnishadm-T 127.0.0.1:808 url.purge *$  

通过Varnish管理端口进行管理，用help看看可以使用哪些Varnish命令：
/usr/local/varnish/bin/varnishadm-T 127.0.0.1:808 help

查看Varnish服务器连接数与命中率：
/usr/local/varnish/bin/varnishstat-n /usr/local/varnish/vcache

附：varnish.sh（用于start、stop、restart 的脚本，注意给予权限，例如启动  ./varnish.sh start）
#!/bin/shfunction_start_varnish()
{   
printf "Starting Varnish...\n"
/usr/local/varnish/sbin/varnishd -n/usr/local/varnish/vcache -f /usr/local/varnish/etc/varnish/default.vcl -a0.0.0.0:80 -s file,/usr/local/varnish/vcache/varnish_cache.data,1G -puser=varnish -p group=varnish -p default_ttl=14400 -p thread_pool_max=8000 -psend_timeout=20 -w 5,51200,30 -T 127.0.0.1:808 -P/usr/local/varnish/var/varnish.pid
}function_stop_varnish()
{   
printf "Stoping Varnish...\n"  
killall -9 varnishd    killall -9 varnishncsa
}function_restart_varnish()
{  
function_stop_varnish   
function_start_varnish
}
if ["$1" = "start" ]; then   
function_start_varnish
elif ["$1" = "stop" ]; then  
function_stop_varnish
elif ["$1" = "restart" ]; then   
function_restart_varnish
else    printf "Usage:/usr/local/varnish/varnish.sh {start|stop|restart}\n"
fi

最后：varnish的确在稳定性方面比squid要强，但硬要说性能超出多少倍，那是广告用语。并且最关键的是，在规则制定以及资料文档方面，varnish远不如squid，要命的是，这小软件对语法改动太频繁

新手请看一下：

关于vcl_recv
在请求的开始被调用，在接收、解析后，决定是否响应请求，怎么响应，使用哪个后台服务器。在vcl_recv中，您可以修改请求，比如您可以修改COOKIEs，添加或者删除请求的头信息。注意vcl_recv中只有请求的目标,req is available。

关于vcl_fetch
在一个文件成功从后台获取后被调用，他的任务就是改变响应的头文件，触发ESI进程，在后台服务器轮询尝试失败的请求。在vcl_fetch中一样的包含请求的目标，req,available，哪里通常是backendresponse，beresp.beresp将会包含后端服务器的HTTP的头信息

动作：（一定要搞明白的）
pass           当一个请求被pass后，这个请求将通过varnish转发到后端服务器，但是它不会被缓存。pass可以放在vcl_recv 和 vcl_fetch中。
lookup        当一个请求在vcl_recv中被lookup后，varnish将从缓存中提取数据，如果缓存中没有数据，将被设置为pass，不能在vcl_fetch中设置lookup。
pipe            pipe和pass相似，都要访问后端服务器，不过当进入pipe模式后，在此连接未关闭前，后续的所有请求都发到后端服务器
deliver        请求的目标被缓存，然后发送给客户端esi              
ESI-processthe fetched document 在VCL中，有3个重要的数据结构request 从客户端进来responses 从后端服务器过来object 存储在cache中              

在VCL中，你需要知道以下结构
req        请求目标，当varnish接收到一个请求，这时req object就被创建了，你在vcl_recv中的大部分工作，都是在req object上展开的。
beresp   后端服务器返回的目标，它包含返回的头信息，你在vcl_fetch中的大部分工作都是在beresp object上开展的。
obj        被cache的目标，只读的目标被保存于内存中，obj.ttl的值可修改，其他的只能读。      

OperaorsVCL支持一下运算符，请阅读下面的例子：              
=                   \\赋值运算符            
==                 \\对比              
~                   \\匹配，在ACL中和正则表达式中都可以用              
！                  \\否定            
&&                 \\逻辑与            
||                   \\逻辑或