热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Varnish搭建CDN内容分发网络

概述:1.CDN内容分发网络CDN的全称是ContentDeliveryNetwork,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据
概述:

1.CDN内容分发网络

CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,
使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,
CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
其目的是使用户可就近取得所需内容,解决 Internet网络拥挤的状况,提高用户访问网站的响应速度。

2.简述varnish

在当前主流的Web架构中,Cache担任着越来越重要的作用。常见的基于浏览器的C/S架构,Web Cache更是节约服务器资源的关键。而最近几年由FreeBSD创始人之一Kamp开发的varnish更是一个不可多得的Web Cache Server。严格意义上说,Varnish是一个高性能的反向代理软件,只不过与其出色的缓存功能相比,企业更愿意使用其搭建缓存服务器。同时,由于其工作在Web Server的前端,有一部分企业已经在生产环境中使用其作为旧版本的squid的替代方案,以在相同的服务器成本下提供更好的缓存效果,Varnish更是作为CDN缓存服务器的可选服务之一。

在这里插入图片描述
处理过程

(1)Receive状态: 也就是请求处理的入口状态,根据VCL规则判断该请求应该是Pass或Pipe,或者进入Lookup(本地查询)。
(2)Lookup状态: 进入此状态后,会在 hash 表中查找数据,若找到,则进入Hit状态,否则进入miss状态。
(3)Pass状态: 在此状态下,会进入后端请求,即进入fetch状态。
(4)Fetch状态: 在Fetch状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地的存储。
(5)Deliver状态: 将获取到的数据发送给客户端,然后完成本次请求。

特点:

Lookup:用于处理一般的数据;vcl_hash(ip哈希): 将ip与后端服务器绑定,即:同一台主机始终访问的是同一个后端服务器
Pass: 用于处理动态数据;vcl_backend(fetch): 后端查询 ,它不适合缓存
Pipe: 用于处理大文件

安装包:

varnish-3.0.5-1.el6.x86_64.rpm
varnish-libs-3.0.5-1.el6.x86_64.rpm

环境:

server1 172.25.66.1 varnish服务器
server2 172.25.66.2 后端服务器1(apache)
server3 172.25.66.3 后端服务器2(apache)

1.varnish的安装与基础配置

(1).配置varnish服务端

#1.下载varnish安装包
[root@server1 mnt]# ls
varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm
#2.安装varnish软件
[root@server1 mnt]# yum install -y varnish-*
#3.查看配置文件
[root@server1 mnt]# rpm -qc varnish
/etc/logrotate.d/varnish
/etc/sysconfig/varnish
/etc/varnish/default.vcl

在这里插入图片描述

#4.配置varnish服务端口
[root@server1 mnt]# vim /etc/sysconfig/varnish
###################
66 VARNISH_LISTEN_PORT=80 #默认后端服务器为80(在浏览网址时默认访问的就是80端口,此时便无需在后边加80,形如: www.baidu.com:80)

在这里插入图片描述

#5.查看配置文件参数
[root@server1 mnt]# vim /etc/sysconfig/varnish

在这里插入图片描述

#查看系统能打开的最大文件
[root@server1 mnt]# sysctl -a | grep file
fs.file-nr = 448 0 47361
fs.file-max = 47361`

在这里插入图片描述
问题1

1.varnish服务能打开的最大文件数目远远超过系统能打开的最大文件
2.最大锁定内存空间:82000
3.最大进程数:无限制

解决问题1

1).更改varnish配置文件参数显然不合理,不提倡使用)
2).增加内存

#查看系统剩余内存
[root@server1 mnt]# free -mtotal used free shared buffers cached
Mem: 490 190 299 0 11 125
-/+ buffers/cache: 54 436
Swap: 991 0 991

在这里插入图片描述
增加内存:
在这里插入图片描述

#再次查看系统能打开的最大文件
[root@server1 ~]# sysctl -a | grep file
fs.file-nr = 384 0 188466
fs.file-max = 188466

在这里插入图片描述
解决问题2和问题3:

[root@server1 ~]# vim /etc/security/limits.conf
#################
varnish - nofile 131072 #最大文件主数
varnish - memlock 82000 #最大锁定内存空间
varnish - nproc unlimited #最大进程数

在这里插入图片描述

#6.开启varnish
[root@server1 ~]# /etc/init.d/varnish start
Starting Varnish Cache: [ OK ]

#此时查看到系统自动生成了varnish用户
[root@server1 ~]# cat /etc/passwd

在这里插入图片描述

#过滤出与varnish有关的进程
[root@server1 ~]# ps aux | grep varnish

在这里插入图片描述

root用户: master(主进程) 用来监控,读取配置, fork创建子进程
varnish用户: 子进程

#查看root用户的线程数(只有一个)
[root@server1 ~]# cat /proc/1050/status

在这里插入图片描述

#查看varnish用户的线程数(有很多个)
[root@server1 ~]# cat /proc/1051/status

在这里插入图片描述

#7.更改主配置文件:制作调度器
[root@server1 ~]# vim /etc/varnish/default.vcl
#################7 backend default {8 .host = "172.25.66.2"; ##server2的ip9 .port = "80";10 }

在这里插入图片描述

#8.重启varnish服务
[root@server1 ~]# /etc/init.d/varnish restart
Stopping Varnish Cache: [ OK ]
Starting Varnish Cache: [ OK ]

(2).配置后端服务器

#1.安装apahce
[root@server2 ~]# yum install -y httpd
#2.开启apache
[root@server2 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.2 for ServerName[ OK ]
#3.编写默认发布文件
[root@server2 ~]# cd /var/www/html/
[root@server2 html]# ls
[root@server2 html]# vim index.html
####################

www.westos.org ---- server2


测试:
(1)物理机上:

[root@foundation66 ~]# curl 172.25.66.1

www.westos.org ---- server2


(2)在网页上:

输入: 172.25.66.1

在这里插入图片描述

2.查看缓存命中情况

配置varnish服务端:

#1.更改主配置文件
[root@server1 ~]# vim /etc/varnish/default.vcl
#################
sub vcl_deliver {
if (obj.hits > 0){
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}
return (deliver);
}

在这里插入图片描述

#2.重新加载配置
[root@server1 ~]# /etc/init.d/varnish reload
Loading vcl from /etc/varnish/default.vcl
Current running config name is boot
Using new config name reload_2019-01-24T14:02:25
VCL compiled.available 2 boot
active 0 reload_2019-01-24T14:02:25Done

测试:

[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述

[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述

[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述
清理缓存:

#1.清理所有缓存
[root@server1 ~]# varnishadm ban.url .*$

#测试:
[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述

#2.清理某个网页的缓存(注意:访问方式改变了)#第一次访问未命中缓存,之后再访问都能命中缓存
[root@foundation66 ~]# curl -I 172.25.66.1/index.html

在这里插入图片描述

[root@foundation66 ~]# curl -I 172.25.66.1/index.html

在这里插入图片描述

#清理网页index.html缓存
[root@server1 ~]# varnishadm ban.url /index.html

#测试:
[root@foundation66 ~]# curl -I 172.25.66.1/index.html

在这里插入图片描述

3.配置多个后端服务器

#1.编写主配置文件:配置调度器
[root@server1 ~]# vim /etc/varnish/default.vcl
#################
backend web1 {.host = "172.25.66.2"; # 后端服务器1(server2).port = "80";
}backend web2 {.host = "172.25.66.3"; # 后端服务器2(server3).port = "80";
}sub vcl_recv {if (req.http.host ~ "^(www.)?westos.org") {set req.http.host = "www.westos.org"; set req.backend = web1;
} elsif (req.http.host ~ "^bbs.westos.org") {set req.backend = web2;
} else {error 404 "westos cache";}
}

在这里插入图片描述
注意:要注释掉命中缓存情况的设定
在这里插入图片描述

#2.重新加载配置
[root@server1 ~]# /etc/init.d/varnish reload

2.配置后端服务器

[root@server3 ~]# yum install -y httpd
[root@server3 ~]# cd /var/www/html/
[root@server3 html]# ls
# 编写apache默认发布文件
[root@server3 html]# vim index.html
####################

bbs.westos.org ---- server3

在这里插入图片描述

[root@server3 html]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.3 for ServerName[ OK ]

3.本地解析

#本地解析:便于直接访问域名,无需访问ip
[root@foundation66 ~]# vim /etc/hosts
######################
172.25.66.1 server1 www.westos.org bbs.westos.org

测试:

访问www.westos.org时,调度server2结点,当访问bbs.westos.org时,调度server3结点

[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


[root@foundation66 ~]# curl bbs.westos.org

bbs.westos.org ---- server3


4.负载均衡

1.配置varnish服务端

#1.编写主配置文件
[root@server1 ~]# vim /etc/varnish/default.vcl
#################
#配置负载均衡lb
director lb round-robin {{ .backend = web1; }{ .backend = web2; }
}sub vcl_recv {if (req.http.host ~ "^(www.)?westos.org") {set req.http.host = "www.westos.org";set req.backend = lb;
} elsif (req.http.host ~ "^bbs.westos.org") {set req.backend = web2;
} else {error 404 "westos cache";}
}

在这里插入图片描述

#2.重新加载
[root@server1 ~]# /etc/init.d/varnish reload

测试:发现此时并没有实现负载均衡,因为有缓存

#此时没有实现负载均衡,因为有缓存
[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


解决方案:清理缓存

#1).手动清理缓存
[root@server1 ~]# varnishadm ban.url .*$
[root@foundation66 ~]# curl www.westos.org

bbs.westos.org ---- server3


[root@server1 ~]# varnishadm ban.url .*$
[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


不能每一次访问都要手动清理缓存,相对于麻烦,因此作出改进

改进:跳过缓存

#2).更改配置文件
[root@server1 ~]# vim /etc/varnish/default.vcl
#################27 return (pass); #不进行缓存(跳过缓存)

在这里插入图片描述

#重新加载
[root@server1 ~]# /etc/init.d/varnish reload

测试:

#此时便不会有缓存干扰,实现了负载均衡
[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


[root@foundation66 ~]# curl www.westos.org

bbs.westos.org ---- server3


5.同一台主机上定义多个域名

1.配置后端服务器(本实验在后端1和后端2做均可)

#1.更改配置文件
[root@server3 html]# vim /etc/httpd/conf/httpd.conf
####################
990 NameVirtualHost *:80 #打开虚拟主机端口 #定义虚拟主机1DocumentRoot /www #定义根目录ServerName www.westos.org
#定义虚拟主机2DocumentRoot /bbs #定义根目录ServerName bbs.westos.org

在这里插入图片描述

#2.重启apache
[root@server3 html]# /etc/init.d/httpd restart
Stopping httpd: [ OK ]
Starting httpd: Warning: DocumentRoot [/www] does not exist
Warning: DocumentRoot [/bbs] does not exist
httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.3 for ServerName[ OK ]
#3.建立根目录
[root@server3 html]# mkdir /www
[root@server3 html]# mkdir /bbs
[root@server3 html]# cd /www/
[root@server3 www]# ls
#4.编写发布文件1
[root@server3 www]# vim index.html
###################

www.westos.org ---- server3

在这里插入图片描述

[root@server3 www]# cd /bbs/
[root@server3 bbs]# ls
#5.编写发布文件2
[root@server3 bbs]# vim index.html
###################

bbs.westos.org ---- server3

在这里插入图片描述

#6.重启apache
[root@server3 bbs]# /etc/init.d/httpd restart
Stopping httpd: [ OK ]
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.3 for ServerName[ OK ]

2.本地解析

[root@foundation66 ~]# vim /etc/hosts
######################
172.25.66.1 server1
172.25.66.3 server3 bbs.westos.org www.westos.org

在这里插入图片描述
测试:
当访问不同的域名时,访问的是同一个主机,即实现了同一台主机上定义多个域名

[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server3


[root@foundation66 ~]# curl bbs.westos.org

bbs.westos.org ---- server3



6.web界面的制作

web界面:也是实现清理缓存的一种方式,但与之前最大的不同在于:它可以批量,高效的清理缓存
安装包:

bansys.zip

配置varnish服务端:

#1.下载安装包
[root@server1 ~]# cd /mnt
[root@server1 mnt]# ls
bansys.zip varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm
#报错:因为没有unzip命令
[root@server1 mnt]# unzip bansys.zip -d /var/www/
-bash: unzip: command not found
#2.安装unzip apache php等(用到了php语言)
[root@server1 mnt]# yum install -y unzip httpd php
#3.解压,-d表示解压路径
[root@server1 mnt]# unzip bansys.zip -d /var/www/html
[root@server1 ~]# cd /var/www/html/
[root@server1 html]# ls
bansys class_socket.php config.php index.php purge_action.php static
[root@server1 html]# cd bansys/
[root@server1 bansys]# pwd
/var/www/html/bansys
[root@server1 bansys]# ls
class_socket.php config.php index.php purge_action.php static

#4.定义varnish主机列表和群组
[root@server1 bansys]# vim config.php
######################
$var_group1 = array('host' => array('172.25.66.1'), #本机ip'port' => '8080', #不能写80端口,因为varnish服务已经占用了80端口);
$VAR_CLUSTER = array('www.westos.org' => $var_group1, # );

在这里插入图片描述

#5.更改apache的端口;因为varnish已经占用了80端口
[root@server1 bansys]# vim /etc/httpd/conf/httpd.conf
#####################136 Listen 8080

#6.重启apache
[root@server1 bansys]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.1 for ServerName[ OK ]

#7.两者皆可查看端口,查看到apache的端口是否更改为8080
[root@server1 bansys]# netstat -tnlp

在这里插入图片描述

[root@server1 bansys]# netstat -antlup

在这里插入图片描述
网页测试:

输入:172.25.66.1:8080

在这里插入图片描述
此时访问的是默认发布目录,因为bansys里的内容没有共享

[root@server1 bansys]# pwd
/var/www/html/bansys
#8.将bansys里的所有内容移动到/var/www/html/(apahce默认发布目录)中,以达到共享的目的
[root@server1 bansys]# mv * ../
[root@server1 bansys]# cd ..
[root@server1 html]# ls
bansys class_socket.php config.php index.php purge_action.php static

再次测试:此时便可以查看到推送界面

输入:172.25.66.1:8080

在这里插入图片描述

#9.配置varnish访问控制
[root@server1 bansys]# vim /etc/httpd/conf/httpd.conf
###################### 定义允许推送的主机ip
acl westos {
"127.0.0.1"; #本机可以访问
"172.25.66.0"/24; #66网段均可访问
}# 若不在允许ip列表中则报错
sub vcl_recv {if (req.request == "BAN"){if (!client.ip ~ westos) {error 405 "Not allowed.";}ban("req.url ~ " + req.url);error 200 "ban added";}
}

在这里插入图片描述
测试:
第一次未命中缓存,之后都可以命中缓存

[root@foundation66 Desktop]# curl -I www.westos.org

在这里插入图片描述

[root@foundation66 Desktop]# curl -I www.westos.org

在这里插入图片描述
网页推送:相当于批量清除缓存
在这里插入图片描述
发现推送成功后,测试未命中,即完成了缓存的清理

[root@foundation66 Desktop]# curl -I www.westos.org

在这里插入图片描述


推荐阅读
  • vcl_recv()Calledafterarequestisreceivedfromthebrowser,butbeforeitisprocessed.接收 ... [详细]
  • 怎么查看linux日志里请求量最高的url访问最多的_40道Linux运维面试精华题,请收下这份跳槽秘籍!...
    过一次年,结婚、存款、父母养老,一系列向钱看的事都在碾压我们本来还挺简单的神经,但难过没有出路,唯有找到好的方法和事业方向& ... [详细]
  • Windows 系统中 Flutter 与 IntelliJ IDEA 的环境配置指南
    本指南详细介绍了如何在 Windows 操作系统上设置 Flutter 开发环境,并集成至 IntelliJ IDEA 中,适合初学者及专业人士参考。 ... [详细]
  • 一、原理用server1当作缓存的,主机请求server1,server1通过varnish设置,访问server2,将se ... [详细]
  • varnish 缓存服务器
    varnish缓存服务器局部性:空间局部时间局部http1.1时代过期时间条件式条件式请求:客户端发请求时给缓存服务器,先查本地缓存是否命 ... [详细]
  • Redis布隆防击穿实战如何解决布隆值在被刷新时出现的真空期
    大促、抢券、抢红包系统在面临大促时,会面临笔直上升的流量访问趋势。如果流量是“慢慢爬升”,这对系统的考验其实是很一般的。系统最怕的就是笔直上升的流量直 ... [详细]
  • [1].主机与主机之间通讯的三要素有什么?IP地址、子网掩码、IP路由[2].网络排错常用思路及每一步的作用或目的。先ping回环地址,检查TCPIP ... [详细]
  • 1、什么是运维?什么是游戏运维?1)运维是指大型组织已经建立好的网络软硬件的维护,就是要保证业务的上线与运作的正常,在他运转的过程中,对他进行维护,他集合了网络、系统、数据库、 ... [详细]
  • 在开发一款应用程序时,我需要向用户提供一系列URL列表。为了提高用户体验,计划根据Wi-Fi状态预先加载这些URL,以便用户在点击时能够迅速访问内容,特别是在连接到Wi-Fi的情况下。 ... [详细]
  • CentOS 7.4 KVM虚拟化平台搭建指南
    本文详细介绍了如何在CentOS 7.4系统上搭建KVM虚拟化平台,包括环境准备、网络配置、KVM安装与管理等步骤,适用于希望利用KVM进行虚拟化部署的技术人员。 ... [详细]
  • 深入解析Pytest Fixture与Conftest的高级应用
    本文详细探讨了Pytest中的Fixture机制及其在conftest.py文件中的全局配置应用,涵盖Fixture的基本概念、定义、多种使用场景以及作用域等内容,适合希望深入了解Pytest测试框架的开发者。 ... [详细]
  • 本文介绍了如何利用高德地图API实现一个高效的地点选择组件,适用于需要用户选择具体位置的应用场景,如活动邀请函填写等。该组件支持从地图中选择地点,并自动将地点信息回填至表单中。 ... [详细]
  • HTTP(超文本传输协议)是互联网上用于客户端和服务器之间交换数据的主要协议。本文详细介绍了HTTP的工作原理,包括其请求-响应机制、不同版本的发展历程以及HTTP数据包的具体结构。 ... [详细]
  • varnish 测试
    安装通过epel源yum安装[rootlocalhostvarnish]#rpm-qlvarnishetclogrotate.dvarnishetcvarnishetcvar ... [详细]
  • 有关phpfile_exists()函数的文章推荐10篇
    有关phpfile_exists()函数的文章推荐10篇:定义和用法clearstatcache()函数的作用是:清除文件状态缓存。PHP的缓存数据对更快更好的运行函数是非常有利的 ... [详细]
author-avatar
mobiledu2502927267
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有