热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Varnish搭建CDN内容分发网络

概述:1.CDN内容分发网络CDN的全称是ContentDeliveryNetwork,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据
概述:

1.CDN内容分发网络

CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,
使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,
CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
其目的是使用户可就近取得所需内容,解决 Internet网络拥挤的状况,提高用户访问网站的响应速度。

2.简述varnish

在当前主流的Web架构中,Cache担任着越来越重要的作用。常见的基于浏览器的C/S架构,Web Cache更是节约服务器资源的关键。而最近几年由FreeBSD创始人之一Kamp开发的varnish更是一个不可多得的Web Cache Server。严格意义上说,Varnish是一个高性能的反向代理软件,只不过与其出色的缓存功能相比,企业更愿意使用其搭建缓存服务器。同时,由于其工作在Web Server的前端,有一部分企业已经在生产环境中使用其作为旧版本的squid的替代方案,以在相同的服务器成本下提供更好的缓存效果,Varnish更是作为CDN缓存服务器的可选服务之一。

在这里插入图片描述
处理过程

(1)Receive状态: 也就是请求处理的入口状态,根据VCL规则判断该请求应该是Pass或Pipe,或者进入Lookup(本地查询)。
(2)Lookup状态: 进入此状态后,会在 hash 表中查找数据,若找到,则进入Hit状态,否则进入miss状态。
(3)Pass状态: 在此状态下,会进入后端请求,即进入fetch状态。
(4)Fetch状态: 在Fetch状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地的存储。
(5)Deliver状态: 将获取到的数据发送给客户端,然后完成本次请求。

特点:

Lookup:用于处理一般的数据;vcl_hash(ip哈希): 将ip与后端服务器绑定,即:同一台主机始终访问的是同一个后端服务器
Pass: 用于处理动态数据;vcl_backend(fetch): 后端查询 ,它不适合缓存
Pipe: 用于处理大文件

安装包:

varnish-3.0.5-1.el6.x86_64.rpm
varnish-libs-3.0.5-1.el6.x86_64.rpm

环境:

server1 172.25.66.1 varnish服务器
server2 172.25.66.2 后端服务器1(apache)
server3 172.25.66.3 后端服务器2(apache)

1.varnish的安装与基础配置

(1).配置varnish服务端

#1.下载varnish安装包
[root@server1 mnt]# ls
varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm
#2.安装varnish软件
[root@server1 mnt]# yum install -y varnish-*
#3.查看配置文件
[root@server1 mnt]# rpm -qc varnish
/etc/logrotate.d/varnish
/etc/sysconfig/varnish
/etc/varnish/default.vcl

在这里插入图片描述

#4.配置varnish服务端口
[root@server1 mnt]# vim /etc/sysconfig/varnish
###################
66 VARNISH_LISTEN_PORT=80 #默认后端服务器为80(在浏览网址时默认访问的就是80端口,此时便无需在后边加80,形如: www.baidu.com:80)

在这里插入图片描述

#5.查看配置文件参数
[root@server1 mnt]# vim /etc/sysconfig/varnish

在这里插入图片描述

#查看系统能打开的最大文件
[root@server1 mnt]# sysctl -a | grep file
fs.file-nr = 448 0 47361
fs.file-max = 47361`

在这里插入图片描述
问题1

1.varnish服务能打开的最大文件数目远远超过系统能打开的最大文件
2.最大锁定内存空间:82000
3.最大进程数:无限制

解决问题1

1).更改varnish配置文件参数显然不合理,不提倡使用)
2).增加内存

#查看系统剩余内存
[root@server1 mnt]# free -mtotal used free shared buffers cached
Mem: 490 190 299 0 11 125
-/+ buffers/cache: 54 436
Swap: 991 0 991

在这里插入图片描述
增加内存:
在这里插入图片描述

#再次查看系统能打开的最大文件
[root@server1 ~]# sysctl -a | grep file
fs.file-nr = 384 0 188466
fs.file-max = 188466

在这里插入图片描述
解决问题2和问题3:

[root@server1 ~]# vim /etc/security/limits.conf
#################
varnish - nofile 131072 #最大文件主数
varnish - memlock 82000 #最大锁定内存空间
varnish - nproc unlimited #最大进程数

在这里插入图片描述

#6.开启varnish
[root@server1 ~]# /etc/init.d/varnish start
Starting Varnish Cache: [ OK ]

#此时查看到系统自动生成了varnish用户
[root@server1 ~]# cat /etc/passwd

在这里插入图片描述

#过滤出与varnish有关的进程
[root@server1 ~]# ps aux | grep varnish

在这里插入图片描述

root用户: master(主进程) 用来监控,读取配置, fork创建子进程
varnish用户: 子进程

#查看root用户的线程数(只有一个)
[root@server1 ~]# cat /proc/1050/status

在这里插入图片描述

#查看varnish用户的线程数(有很多个)
[root@server1 ~]# cat /proc/1051/status

在这里插入图片描述

#7.更改主配置文件:制作调度器
[root@server1 ~]# vim /etc/varnish/default.vcl
#################7 backend default {8 .host = "172.25.66.2"; ##server2的ip9 .port = "80";10 }

在这里插入图片描述

#8.重启varnish服务
[root@server1 ~]# /etc/init.d/varnish restart
Stopping Varnish Cache: [ OK ]
Starting Varnish Cache: [ OK ]

(2).配置后端服务器

#1.安装apahce
[root@server2 ~]# yum install -y httpd
#2.开启apache
[root@server2 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.2 for ServerName[ OK ]
#3.编写默认发布文件
[root@server2 ~]# cd /var/www/html/
[root@server2 html]# ls
[root@server2 html]# vim index.html
####################

www.westos.org ---- server2


测试:
(1)物理机上:

[root@foundation66 ~]# curl 172.25.66.1

www.westos.org ---- server2


(2)在网页上:

输入: 172.25.66.1

在这里插入图片描述

2.查看缓存命中情况

配置varnish服务端:

#1.更改主配置文件
[root@server1 ~]# vim /etc/varnish/default.vcl
#################
sub vcl_deliver {
if (obj.hits > 0){
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}
return (deliver);
}

在这里插入图片描述

#2.重新加载配置
[root@server1 ~]# /etc/init.d/varnish reload
Loading vcl from /etc/varnish/default.vcl
Current running config name is boot
Using new config name reload_2019-01-24T14:02:25
VCL compiled.available 2 boot
active 0 reload_2019-01-24T14:02:25Done

测试:

[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述

[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述

[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述
清理缓存:

#1.清理所有缓存
[root@server1 ~]# varnishadm ban.url .*$

#测试:
[root@foundation66 ~]# curl -I 172.25.66.1

在这里插入图片描述

#2.清理某个网页的缓存(注意:访问方式改变了)#第一次访问未命中缓存,之后再访问都能命中缓存
[root@foundation66 ~]# curl -I 172.25.66.1/index.html

在这里插入图片描述

[root@foundation66 ~]# curl -I 172.25.66.1/index.html

在这里插入图片描述

#清理网页index.html缓存
[root@server1 ~]# varnishadm ban.url /index.html

#测试:
[root@foundation66 ~]# curl -I 172.25.66.1/index.html

在这里插入图片描述

3.配置多个后端服务器

#1.编写主配置文件:配置调度器
[root@server1 ~]# vim /etc/varnish/default.vcl
#################
backend web1 {.host = "172.25.66.2"; # 后端服务器1(server2).port = "80";
}backend web2 {.host = "172.25.66.3"; # 后端服务器2(server3).port = "80";
}sub vcl_recv {if (req.http.host ~ "^(www.)?westos.org") {set req.http.host = "www.westos.org"; set req.backend = web1;
} elsif (req.http.host ~ "^bbs.westos.org") {set req.backend = web2;
} else {error 404 "westos cache";}
}

在这里插入图片描述
注意:要注释掉命中缓存情况的设定
在这里插入图片描述

#2.重新加载配置
[root@server1 ~]# /etc/init.d/varnish reload

2.配置后端服务器

[root@server3 ~]# yum install -y httpd
[root@server3 ~]# cd /var/www/html/
[root@server3 html]# ls
# 编写apache默认发布文件
[root@server3 html]# vim index.html
####################

bbs.westos.org ---- server3

在这里插入图片描述

[root@server3 html]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.3 for ServerName[ OK ]

3.本地解析

#本地解析:便于直接访问域名,无需访问ip
[root@foundation66 ~]# vim /etc/hosts
######################
172.25.66.1 server1 www.westos.org bbs.westos.org

测试:

访问www.westos.org时,调度server2结点,当访问bbs.westos.org时,调度server3结点

[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


[root@foundation66 ~]# curl bbs.westos.org

bbs.westos.org ---- server3


4.负载均衡

1.配置varnish服务端

#1.编写主配置文件
[root@server1 ~]# vim /etc/varnish/default.vcl
#################
#配置负载均衡lb
director lb round-robin {{ .backend = web1; }{ .backend = web2; }
}sub vcl_recv {if (req.http.host ~ "^(www.)?westos.org") {set req.http.host = "www.westos.org";set req.backend = lb;
} elsif (req.http.host ~ "^bbs.westos.org") {set req.backend = web2;
} else {error 404 "westos cache";}
}

在这里插入图片描述

#2.重新加载
[root@server1 ~]# /etc/init.d/varnish reload

测试:发现此时并没有实现负载均衡,因为有缓存

#此时没有实现负载均衡,因为有缓存
[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


解决方案:清理缓存

#1).手动清理缓存
[root@server1 ~]# varnishadm ban.url .*$
[root@foundation66 ~]# curl www.westos.org

bbs.westos.org ---- server3


[root@server1 ~]# varnishadm ban.url .*$
[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


不能每一次访问都要手动清理缓存,相对于麻烦,因此作出改进

改进:跳过缓存

#2).更改配置文件
[root@server1 ~]# vim /etc/varnish/default.vcl
#################27 return (pass); #不进行缓存(跳过缓存)

在这里插入图片描述

#重新加载
[root@server1 ~]# /etc/init.d/varnish reload

测试:

#此时便不会有缓存干扰,实现了负载均衡
[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server2


[root@foundation66 ~]# curl www.westos.org

bbs.westos.org ---- server3


5.同一台主机上定义多个域名

1.配置后端服务器(本实验在后端1和后端2做均可)

#1.更改配置文件
[root@server3 html]# vim /etc/httpd/conf/httpd.conf
####################
990 NameVirtualHost *:80 #打开虚拟主机端口 #定义虚拟主机1DocumentRoot /www #定义根目录ServerName www.westos.org
#定义虚拟主机2DocumentRoot /bbs #定义根目录ServerName bbs.westos.org

在这里插入图片描述

#2.重启apache
[root@server3 html]# /etc/init.d/httpd restart
Stopping httpd: [ OK ]
Starting httpd: Warning: DocumentRoot [/www] does not exist
Warning: DocumentRoot [/bbs] does not exist
httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.3 for ServerName[ OK ]
#3.建立根目录
[root@server3 html]# mkdir /www
[root@server3 html]# mkdir /bbs
[root@server3 html]# cd /www/
[root@server3 www]# ls
#4.编写发布文件1
[root@server3 www]# vim index.html
###################

www.westos.org ---- server3

在这里插入图片描述

[root@server3 www]# cd /bbs/
[root@server3 bbs]# ls
#5.编写发布文件2
[root@server3 bbs]# vim index.html
###################

bbs.westos.org ---- server3

在这里插入图片描述

#6.重启apache
[root@server3 bbs]# /etc/init.d/httpd restart
Stopping httpd: [ OK ]
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.3 for ServerName[ OK ]

2.本地解析

[root@foundation66 ~]# vim /etc/hosts
######################
172.25.66.1 server1
172.25.66.3 server3 bbs.westos.org www.westos.org

在这里插入图片描述
测试:
当访问不同的域名时,访问的是同一个主机,即实现了同一台主机上定义多个域名

[root@foundation66 ~]# curl www.westos.org

www.westos.org ---- server3


[root@foundation66 ~]# curl bbs.westos.org

bbs.westos.org ---- server3



6.web界面的制作

web界面:也是实现清理缓存的一种方式,但与之前最大的不同在于:它可以批量,高效的清理缓存
安装包:

bansys.zip

配置varnish服务端:

#1.下载安装包
[root@server1 ~]# cd /mnt
[root@server1 mnt]# ls
bansys.zip varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm
#报错:因为没有unzip命令
[root@server1 mnt]# unzip bansys.zip -d /var/www/
-bash: unzip: command not found
#2.安装unzip apache php等(用到了php语言)
[root@server1 mnt]# yum install -y unzip httpd php
#3.解压,-d表示解压路径
[root@server1 mnt]# unzip bansys.zip -d /var/www/html
[root@server1 ~]# cd /var/www/html/
[root@server1 html]# ls
bansys class_socket.php config.php index.php purge_action.php static
[root@server1 html]# cd bansys/
[root@server1 bansys]# pwd
/var/www/html/bansys
[root@server1 bansys]# ls
class_socket.php config.php index.php purge_action.php static

#4.定义varnish主机列表和群组
[root@server1 bansys]# vim config.php
######################
$var_group1 = array('host' => array('172.25.66.1'), #本机ip'port' => '8080', #不能写80端口,因为varnish服务已经占用了80端口);
$VAR_CLUSTER = array('www.westos.org' => $var_group1, # );

在这里插入图片描述

#5.更改apache的端口;因为varnish已经占用了80端口
[root@server1 bansys]# vim /etc/httpd/conf/httpd.conf
#####################136 Listen 8080

#6.重启apache
[root@server1 bansys]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using 172.25.66.1 for ServerName[ OK ]

#7.两者皆可查看端口,查看到apache的端口是否更改为8080
[root@server1 bansys]# netstat -tnlp

在这里插入图片描述

[root@server1 bansys]# netstat -antlup

在这里插入图片描述
网页测试:

输入:172.25.66.1:8080

在这里插入图片描述
此时访问的是默认发布目录,因为bansys里的内容没有共享

[root@server1 bansys]# pwd
/var/www/html/bansys
#8.将bansys里的所有内容移动到/var/www/html/(apahce默认发布目录)中,以达到共享的目的
[root@server1 bansys]# mv * ../
[root@server1 bansys]# cd ..
[root@server1 html]# ls
bansys class_socket.php config.php index.php purge_action.php static

再次测试:此时便可以查看到推送界面

输入:172.25.66.1:8080

在这里插入图片描述

#9.配置varnish访问控制
[root@server1 bansys]# vim /etc/httpd/conf/httpd.conf
###################### 定义允许推送的主机ip
acl westos {
"127.0.0.1"; #本机可以访问
"172.25.66.0"/24; #66网段均可访问
}# 若不在允许ip列表中则报错
sub vcl_recv {if (req.request == "BAN"){if (!client.ip ~ westos) {error 405 "Not allowed.";}ban("req.url ~ " + req.url);error 200 "ban added";}
}

在这里插入图片描述
测试:
第一次未命中缓存,之后都可以命中缓存

[root@foundation66 Desktop]# curl -I www.westos.org

在这里插入图片描述

[root@foundation66 Desktop]# curl -I www.westos.org

在这里插入图片描述
网页推送:相当于批量清除缓存
在这里插入图片描述
发现推送成功后,测试未命中,即完成了缓存的清理

[root@foundation66 Desktop]# curl -I www.westos.org

在这里插入图片描述


推荐阅读
  • 深入解析 Apache Shiro 安全框架架构
    本文详细介绍了 Apache Shiro,一个强大且灵活的开源安全框架。Shiro 专注于简化身份验证、授权、会话管理和加密等复杂的安全操作,使开发者能够更轻松地保护应用程序。其核心目标是提供易于使用和理解的API,同时确保高度的安全性和灵活性。 ... [详细]
  • 网络运维工程师负责确保企业IT基础设施的稳定运行,保障业务连续性和数据安全。他们需要具备多种技能,包括搭建和维护网络环境、监控系统性能、处理突发事件等。本文将探讨网络运维工程师的职业前景及其平均薪酬水平。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • 360SRC安全应急响应:从漏洞提交到修复的全过程
    本文详细介绍了360SRC平台处理一起关键安全事件的过程,涵盖从漏洞提交、验证、排查到最终修复的各个环节。通过这一案例,展示了360在安全应急响应方面的专业能力和严谨态度。 ... [详细]
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
  • 本文探讨了如何优化和正确配置Kafka Streams应用程序以确保准确的状态存储查询。通过调整配置参数和代码逻辑,可以有效解决数据不一致的问题。 ... [详细]
  • 从 .NET 转 Java 的自学之路:IO 流基础篇
    本文详细介绍了 Java 中的 IO 流,包括字节流和字符流的基本概念及其操作方式。探讨了如何处理不同类型的文件数据,并结合编码机制确保字符数据的正确读写。同时,文中还涵盖了装饰设计模式的应用,以及多种常见的 IO 操作实例。 ... [详细]
  • PHP 5.5.0rc1 发布:深入解析 Zend OPcache
    2013年5月9日,PHP官方发布了PHP 5.5.0rc1和PHP 5.4.15正式版,这两个版本均支持64位环境。本文将详细介绍Zend OPcache的功能及其在Windows环境下的配置与测试。 ... [详细]
  • 本文探讨了如何在日常工作中通过优化效率和深入研究核心技术,将技术和知识转化为实际收益。文章结合个人经验,分享了提高工作效率、掌握高价值技能以及选择合适工作环境的方法,帮助读者更好地实现技术变现。 ... [详细]
  • 本文详细介绍了在企业级项目中如何优化 Webpack 配置,特别是在 React 移动端项目中的最佳实践。涵盖资源压缩、代码分割、构建范围缩小、缓存机制以及性能优化等多个方面。 ... [详细]
  • Docker的安全基准
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • 本文详细介绍了如何构建一个高效的UI管理系统,集中处理UI页面的打开、关闭、层级管理和页面跳转等问题。通过UIManager统一管理外部切换逻辑,实现功能逻辑分散化和代码复用,支持多人协作开发。 ... [详细]
  • 本文详细分析了Hive在启动过程中遇到的权限拒绝错误,并提供了多种解决方案,包括调整文件权限、用户组设置以及环境变量配置等。 ... [详细]
author-avatar
mobiledu2502927267
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有