【爬虫训练场】：分页爬虫案例设计Demo，PythonFlask与MySQL的完美连接

文章目录

本篇博客为大家继续补充一款简易爬虫&＃xff0c;主要涉及如下知识点。

1. Python Flask 调用 MySQL 数据


2. 分页数据呈现

Python Flask 调用 MySQL 数据

网站类应用&＃xff0c;一定离不开 MySQL &＃xff0c;所以本案例将带着大家学习一下&＃xff0c;通过 Flask 调用 MySQL 数据&＃xff0c;并实现分页呈现。

正式开始前&＃xff0c;我们需要提前在 MySQL 中准备一张表&＃xff0c;命名为 school_list&＃xff0c;其数据通过采集获取&＃xff0c;具体可参考博客《【Python 实战】高校数据采集&＃xff0c;爬虫训练场项目数据储备》。

安装 MySQL 操作相关模块。

pip install flask-sqlalchemy


使用 Pycharm 安装&＃xff0c;可直接在包管理中进行检索。

新建 config.py 文件&＃xff0c;并输入如下代码

class BaseConfig(object):
DIALECT &＃061; &＃039;mysql&＃039;
DRIVER &＃061; &＃039;pymysql&＃039;
USERNAME &＃061; &＃039;root&＃039;
PASSWORD &＃061; &＃039;root&＃039; # 注意不要泄露服务器密码&＃xff0c;这里仅供测试使用
HOST &＃061; &＃039;127.0.0.1&＃039;
PORT &＃061; &＃039;3306&＃039;
DATABASE &＃061; &＃039;playground&＃039;
SQLALCHEMY_DATABASE_URI &＃061; "{}&＃043;{}://{}:{}&＃064;{}:{}/{}?charset&＃061;utf8".format(DIALECT, DRIVER, USERNAME, PASSWORD, HOST,
PORT, DATABASE)
SQLALCHEMY_TRACK_MODIFICATIONS &＃061; False
SQLALCHEMY_ECHO &＃061; True


可以看到用户名和密码都在该文件中进行配置&＃xff0c;接下来在 app/__init__.py 文件中导入对应模块。

from flask_sqlalchemy import SQLAlchemy
db &＃061; SQLAlchemy()


接下来我们先补充一些小知识点&＃xff0c;罗列如下所示。

app.config.from_object() 方法&＃xff0c;它用来加载配置文件&＃xff0c;稍后将用该方法导入数据库相关配置。

下面继续看一段代码。

db &＃061; SQLAlchemy()
db.init_app(app) # 初始化数据库


db &＃061; SQLAlchemy() 用于创建 SQLAlchemy 对象&＃xff0c;db.init_app() 初始化链接对象。

建立新的控制器目录

在 app 目录下建立 school 文件夹&＃xff0c;然后内部新增两个文件&＃xff0c;分别是 __init__.py 和 index.py&＃xff0c;然后在 index.py 文件中&＃xff0c;输入如下代码。

import sys
from flask import Blueprint, jsonify
from ..model import School # 导入上级模块
ss &＃061; Blueprint(&＃039;school&＃039;, __name__)
&＃064;school.route(&＃039;/list&＃039;)
def list_school():
schools &＃061; School.query.all()
print(schools)


先不要运行项目&＃xff0c;我们先说明一下其中涉及的知识点&＃xff0c;第一个是 Blueprint 类。

Blueprint 类被称作蓝图&＃xff0c;它是一个存储操作方法的容器&＃xff0c;Flask 可以通过 Blueprint 来组织 URL 及处理请求。

蓝图对象和 Flask 对象使用类似&＃xff0c;但需要将其注册到应用对象上才可以生效。

使用蓝图的三个步骤。

创建一个蓝图对象

s &＃061; Blueprint(&＃039;school&＃039;, __name__,url_prifix&＃061;&＃039;/ss&＃039;)


在蓝图对象上进行操作&＃xff0c;例如注册路由&＃xff0c;指定静态文件&＃xff0c;指定过滤器

&＃064;ss.route(&＃039;/list&＃039;)
def list_school():
schools &＃061; School.query.all()
print(schools)
return "学校数据"


在应用对象注册蓝图对象
返回到 app/__init__.py 文件中&＃xff0c;注册蓝图对象。

from .school.index import *
app.register_blueprint(s)


在应用对象上注册一个蓝图时&＃xff0c;可以指定 url_prefix 关键字参数&＃xff08;该参数默认是 /&＃xff09;&＃xff0c;此时启动项目&＃xff0c;就可以通过 /ss/ 配合路由&＃xff0c;访问指定方法。

在前文代码中&＃xff0c;我们还导入了一个 model 模型模块&＃xff0c;在 app 目录中建立 model.py 文件&＃xff0c;然后输入如下代码。

from app import db
class EntityBase(object):
def to_json(self):
fields &＃061; self.__dict__
if "_sa_instance_state" in fields:
del fields["_sa_instance_state"]
return fields
class School(db.Model, EntityBase):
"""
表名&＃xff0c;字段名
"""
__tablename__ &＃061; "school_list"
id &＃061; db.Column(db.Integer, primary_key&＃061;True)
name &＃061; db.Column(db.String(255))
province &＃061; db.Column(db.String(255))
city &＃061; db.Column(db.String(255))
feature &＃061; db.Column(db.String(255))
hotValue &＃061; db.Column(db.String(255))
pic &＃061; db.Column(db.String(255))
category &＃061; db.Column(db.String(255))
batchTimes &＃061; db.Column(db.String(255))


其中 School 类继承自 db.Model 和 EntityBase&＃xff0c;其中的字段与数据库表字段一致。

接下来再总结一下目前的项目结构&＃xff0c;然后橡皮擦会带着大家再次梳理一下各文件之间的引用关系。

爬虫训练场引入 MySQL 之间的逻辑关系

playground.py 文件为程序主入口&＃xff0c;其内部导入 app 模块&＃xff0c;由于 Python 模块导入关系&＃xff0c;app 目录中的 __init__.py 文件默认执行。

__init__.py 文件中包含如下内容&＃xff1a;

由于需要导入 app 配置&＃xff0c;所以这里需要导入 config.py 文件&＃xff0c;由于需要导入路由控制器和注册蓝图&＃xff0c;所以需要编写下述代码。

from app import routes
from app import general
from .school.index import *
app.register_blueprint(s)


为了便于项目管理&＃xff0c;在 app 目录中新建立了一个 school 文件夹&＃xff0c;并且创建了一个 index.py 文件&＃xff0c;用于实现路由函数逻辑&＃xff0c;由于该文件需要使用模型 model 相关配置&＃xff0c;所以在 app 目录新增一个 model.py 文件&＃xff0c;并且实现了第一个模型类 School。

搭建案例前端页面

本篇博客的最后一个步骤&＃xff0c;用来实现前端页面渲染&＃xff0c;在 templates 目录建立一个 school 文件夹&＃xff0c;并新建 index.html 文件&＃xff0c;其中先输入一个 Bootstrap 基本内容即可。

打开 app/school/index.py 文件&＃xff0c;修改 list_school() 函数。

&＃064;s.route(&＃039;/list&＃039;)
def list_school():
schools &＃061; School.query.all()
school_output &＃061; []
for s_item in schools:
school_output.append(s_item.to_json())
return render_template(&＃039;school/index.html&＃039;)


运行代码&＃xff0c;页面成功渲染。

下面选择数据库中的一条数据&＃xff0c;传递到前台。

&＃064;s.route(&＃039;/list&＃039;)
def list_school():
schools &＃061; School.query.all()
school_output &＃061; []
for s_item in schools:
school_output.append(s_item.to_json())
one_school &＃061; school_output[0]
return render_template(&＃039;school/index.html&＃039;,item &＃061; one_school)


前台 HTML 页面增加数据输出代码。

本案例完成。

&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;&＃x1f4e2;
&＃x1f497; 你正在阅读 【梦想橡皮擦】 的博客
&＃x1f44d; 阅读完毕&＃xff0c;可以点点小手赞一下
&＃x1f33b; 发现错误&＃xff0c;直接评论区中指正吧
&＃x1f4c6; 橡皮擦的第 805 篇原创博客

从订购之日起&＃xff0c;案例 5 年内保证更新