提高Django网站加载速度

之前做了个爬虫案例平台&＃xff0c;https://scrape.center/&＃xff0c;具体文章在 原创丨发布一个爬虫案例平台&＃xff0c;帮助爬虫初学者进行练手。

平台内我设计了非常多的网站&＃xff0c;有服务端渲染、客户端渲染等&＃xff0c;其中服务端渲染的页面大家可能爬取的频率比较高&＃xff0c;时不时就会遇到被爬挂的情况。

比如这个网站&＃xff1a;https://ssr1.scrape.center/&＃xff0c;当访问频率高的时候&＃xff0c;甚至我后端开了 20 个 Pod 也承受不来&＃xff0c;大家并发量有点猛啊。

这个后端是用 Django 写的&＃xff0c;而且这个网站的数据不怎么更新&＃xff0c;索性再加个 Cache 吧&＃xff0c;在 Django 中最高效的 Cache 当属 Memcached 了&＃xff0c;本篇文章就来简单记录下 Django 对接 Memcached 的过程。

官方资料

千说万说都不如官方文档来的直接&＃xff0c;首推官方文档&＃xff1a;https://docs.djangoproject.com/en/3.1/topics/cache/。

然后后面就是我简单的笔记了。

依赖库

首先需要安装个依赖库&＃xff0c;这里用的是 python-memcached&＃xff0c;可以使用 pip 来安装&＃xff1a;

pip3 install python-memcached


由于我使用的是 Docker&＃xff0c;所以就把它写到 requirements.txt 里面了。

配置

另外还需要在 settings.py 里面配置一下&＃xff0c;内容如下&＃xff1a;

CACHES &＃61; {&＃39;default&＃39;: {&＃39;BACKEND&＃39;: &＃39;django.core.cache.backends.memcached.MemcachedCache&＃39;,&＃39;LOCATION&＃39;: &＃39;cache:11211&＃39;,}
}


这里 LOCATION 是需要一个 Memcached 服务&＃xff0c;运行在 11211 上面。

另外还需要开启两个中间件&＃xff1a;

MIDDLEWARE &＃61; [&＃39;django.middleware.cache.UpdateCacheMiddleware&＃39;,...&＃39;django.middleware.cache.FetchFromCacheMiddleware&＃39;,
]


这里要加两个中间件&＃xff0c;一个在最前面&＃xff0c;一个在最后面&＃xff0c;顺序不能换&＃xff0c;中间的是之前配置的其他中间件。

Docker-Compose

OK&＃xff0c;接下来就是使用 Docker 启动了&＃xff0c;这里 Docker-Compose 里面就需要增加一个 Memcache 服务&＃xff0c;配置如下&＃xff1a;

version: &＃39;3&＃39;
services:ssr1-backend:container_name: &＃39;scrape-ssr1-backend&＃39;restart: alwaysbuild: ./backendimage: &＃39;scrape-ssr1-backend&＃39;ports:- &＃39;8000:8000&＃39;environment:...cache:image: memcachedports:- &＃39;11211:11211&＃39;entrypoint:- memcached- -m 64


这里主要是 cache 的配置&＃xff0c;需要加上端口映射和入口参数&＃xff0c;这里内存大小设置为 64M。

Kubernetes

我的部署使用的是 Kubernetes&＃xff0c;所以对应的 yaml 文件也需要更改了&＃xff0c;配置更改如下&＃xff1a;

apiVersion: v1
items:- apiVersion: v1kind: Servicemetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-backendname: ssr1-backendnamespace: scrapespec:ports:- name: "8000"port: 8000targetPort: 8000selector:io.kompose.service: ssr1-backendstatus:loadBalancer: { }- apiVersion: apps/v1kind: Deploymentmetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-backendname: ssr1-backendnamespace: scrapespec:replicas: 20revisionHistoryLimit: 1strategy: { }selector:matchLabels:io.kompose.service: ssr1-backendtemplate:metadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-backendspec:containers:- env:- name: APP_ENVvalue: production- name: MEMCACHED_HOSTvalue: ssr1-cacheimage: germey/scrape-ssr1-backend:${TAG}name: scrape-ssr1-backendports:- containerPort: 8000resources: { }restartPolicy: Alwaysstatus: { }- apiVersion: v1kind: Servicemetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-cachename: ssr1-cachenamespace: scrapespec:ports:- name: "11211"port: 11211targetPort: 11211selector:io.kompose.service: ssr1-cachestatus:loadBalancer: { }- apiVersion: apps/v1kind: Deploymentmetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-cachename: ssr1-cachenamespace: scrapespec:replicas: 1revisionHistoryLimit: 1strategy: { }selector:matchLabels:io.kompose.service: ssr1-cachetemplate:metadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-cachespec:containers:- image: memcachedname: scrape-ssr1-cacheports:- containerPort: 11211resources: { }restartPolicy: Alwaysstatus: { }
kind: List
metadata: { }
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:name: ingress-ssr1namespace: scrapeannotations:nginx.ingress.kubernetes.io/ssl-redirect: "true"nginx.ingress.kubernetes.io/rewrite-target: /
spec:tls:- hosts:- ssr1.scrape.centersecretName: tls-wildcard-scrape-centerrules:- host: ssr1.scrape.centerhttp:paths:- backend:serviceName: ssr1-backendservicePort: 8000path: /


注意这里我给 Django 后端增加了一个环境变量&＃xff0c;叫做 MEMCACHED_HOST&＃xff0c;所以在 Django 中&＃xff0c;我们可以通过环境变量来读取 Memcached 的 Host&＃xff0c;当然端口也可以类似设置&＃xff0c;不过端口我就直接写死了&＃xff0c;配置更改如下&＃xff1a;

CACHES &＃61; {&＃39;default&＃39;: {&＃39;BACKEND&＃39;: &＃39;django.core.cache.backends.memcached.MemcachedCache&＃39;,&＃39;LOCATION&＃39;: os.getenv(&＃39;MEMCACHED_HOST&＃39;) &＃43; &＃39;:11211&＃39;,}
}


OK&＃xff0c;这样改完之后重新部署就好了。

部署之后我直接将 Pod 降到了 2 个&＃xff0c;第一次访问速度可能稍慢&＃xff0c;但是一旦加载出来之后&＃xff0c;该页面就会被缓存下来&＃xff0c;后续访问速度就只有两三百毫秒了&＃xff0c;测速如下&＃xff1a;

简单测速结果

网址在这&＃xff1a;https://ssr1.scrape.center/&＃xff0c;大家可以来爬爬试试吧。