《Python3网络爬虫开发实战》:高效实用的MongoDB文档存储

NoSQL&＃xff0c;全称 Not Only SQL&＃xff0c;意为不仅仅是 SQL&＃xff0c;泛指非关系型数据库。NoSQL 是基于键值对的&＃xff0c;而且不需要经过 SQL 层的解析&＃xff0c;数据之间没有耦合性&＃xff0c;性能非常高。
非关系型数据库又可细分如下&＃xff1a;

• 键值存储数据库&＃xff1a;其代表有 Redis、Voldemort 和 Oracle BDB 等。
• 列存储数据库&＃xff1a;其代表有 Cassandra、HBase 和 Riak 等。
• 文档型数据库&＃xff1a;其代表有 CouchDB 和 MongoDB 等。
• 键值存储数据库&＃xff1a;其代表有 Redis、Voldemort 和 Oracle BDB 等。
• 图形数据库&＃xff1a;其代表有 Neo4J、InfoGrid 和 Infinite Graph 等。

对于爬虫的数据存储来说&＃xff0c;一条数据可能存在某些字段提取失败而缺失的情况&＃xff0c;而且数据可能随时调整。另外&＃xff0c;数据之间还存在嵌套关系。如果使用关系型数据库存储****&＃xff0c;一是需要提前建表&＃xff0c;二是如果存在数据嵌套关系的话&＃xff0c;需要进行序列化操作才可以存储&＃xff0c;这非常不方便。如果用了非关系型数据库&＃xff0c;就可以避免一些麻烦&＃xff0c;更简单、高效。

本节中&＃xff0c;我们主要介绍 MongoDB 存储操作。

MongoDB 是由 C&＃43;&＃43; 语言编写的非关系型数据库&＃xff0c;是一个基于分布式文件存储的开源数据库系统&＃xff0c;其内容存储形式类似 JSON 对象&＃xff0c;它的字段值可以包含其他文档、数组及文档数组&＃xff0c;非常灵活。在这一节中&＃xff0c;我们就来看看 Python 3 下 MongoDB 的存储操作

1. 准备工作

在开始之前&＃xff0c;请确保已经安装好了 MongoDB 并启动了其服务&＃xff0c;安装方式可以参考&＃xff1a;xx&＃xff08;这里不附链接了&＃xff0c;自己下载吧)

除了安装好 MongoDB 数据库&＃xff0c;我们还需要安装好 Python 的 PyMongo 库&＃xff0c;如尚未安装&＃xff0c;可以使用 pip3 来安装&＃xff1a;

2. 连接 MongoDB

连接 MongoDB 时&＃xff0c;我们需要使用 PyMongo 库里面的 MongoClient。一般来说&＃xff0c;传入 MongoDB 的 IP 及端口即可&＃xff0c;其中第一个参数为地址 host&＃xff0c;第二个参数为端口 port&＃xff08;如果不给它传递参数&＃xff0c;默认是 27017&＃xff09;&＃xff1a;

这样就可以创建 MongoDB 的连接对象了。

另外&＃xff0c;MongoClient 的第一个参数 host 还可以直接传入 MongoDB 的连接字符串&＃xff0c;它以 mongodb 开头&＃xff0c;例如&＃xff1a;

3. 指定数据库

在 MongoDB 中&＃xff0c;可以建立多个数据库&＃xff0c;接下来我们需要指定操作哪个数据库。这里我们以 test 数据库为例来说明&＃xff0c;下一步需要在程序中指定要使用的数据库&＃xff1a;

这里调用 client 的 test 属性即可返回 test 数据库。当然&＃xff0c;我们也可以这样指定&＃xff1a;

4. 指定集合

MongoDB 的每个数据库又包含许多集合&＃xff08;collection&＃xff09;&＃xff0c;它们类似于关系型数据库中的表。

下一步需要指定要操作的集合&＃xff0c;这里指定一个集合名称为 students。与指定数据库类似&＃xff0c;指定集合也有两种方式&＃xff1a;

这样我们便声明了一个集合对象

5. 插入数据

接下来&＃xff0c;便可以插入数据了。对于 students 这个集合&＃xff0c;新建一条学生数据&＃xff0c;这条数据以字典形式表示&＃xff1a;

这里指定了学生的学号、姓名、年龄和性别。接下来&＃xff0c;直接调用 collection 的 insert 方法即可插入数据&＃xff0c;代码如下&＃xff1a;

在 MongoDB 中&＃xff0c;每条数据其实都有一个 _id 属性来唯一标识。如果没有显式指明该属性&＃xff0c;MongoDB 会自动产生一个 ObjectId 类型的 _id 属性。insert 方法会在执行后返回 _id 值。

当然&＃xff0c;我们也可以同时插入多条数据&＃xff0c;只需要以列表形式传递即可&＃xff0c;示例如下&＃xff1a;

返回结果是对应的 _id 的集合&＃xff1a;

实际上&＃xff0c;在 PyMongo 3.x 版本中&＃xff0c;官方已经不推荐使用 insert 方法了。当然&＃xff0c;继续使用也没有什么问题。官方推荐使用 insert_one 和 insert_many 方法来分别插入单条记录和多条记录&＃xff0c;示例如下&＃xff1a;

与 insert 方法不同&＃xff0c;这次返回的是 InsertOneResult 对象&＃xff0c;我们可以调用其 inserted_id 属性获取 _id。

对于 insert_many 方法&＃xff0c;我们可以将数据以列表形式传递&＃xff0c;示例如下&＃xff1a;

结果为

该方法返回的是 InsertManyResult 类型的对象&＃xff0c;调用 inserted_ids 属性可以获取插入数据的 _id 列表

6. 查询
   插入数据后&＃xff0c;我们可以利用 find_one 或 find 方法进行查询&＃xff0c;其中 find_one 查询得到的是单个结果&＃xff0c;find 则返回一个生成器对象。示例如下&＃xff1a;
   
   这里我们查询 name 为 Mike 的数据&＃xff0c;它的返回结果是字典类型&＃xff0c;运行结果如下&＃xff1a;
   
   可以发现&＃xff0c;它多了 _id 属性&＃xff0c;这就是 MongoDB 在插入过程中自动添加的。

此外&＃xff0c;我们也可以根据 ObjectId 来查询&＃xff0c;此时需要使用 bson 库里面的 objectid&＃xff1a;

其查询结果依然是字典类型&＃xff0c;具体如下&＃xff1a;

当然&＃xff0c;如果查询结果不存在&＃xff0c;则会返回 None。

对于多条数据的查询&＃xff0c;我们可以使用 find 方法。例如&＃xff0c;这里查找年龄为 20 的数据&＃xff0c;示例如下&＃xff1a;

返回结果是 Cursor 类型&＃xff0c;它相当于一个生成器&＃xff0c;我们需要遍历取到所有的结果&＃xff0c;其中每个结果都是字典类型。

如果要查询年龄大于 20 的数据&＃xff0c;则写法如下&＃xff1a;

这里查询的条件键值已经不是单纯的数字了&＃xff0c;
而是一个字典&＃xff0c;其键名为比较符号 $gt&＃xff0c;意思是大于&＃xff0c;键值为 20

另外&＃xff0c;还可以进行正则匹配查询。例如&＃xff0c;查询名字以 M 开头的学生数据&＃xff0c;示例如下&＃xff1a;

这里使用 $regex 来指定正则匹配&＃xff0c;^M.* 代表以 M 开头的正则表达式。

关于这些操作的更详细用法&＃xff0c;可以在 MongoDB 官方文档找到&＃xff1a; https://docs.mongodb.com/manual/reference/operator/query/。

7. 计数

要统计查询结果有多少条数据&＃xff0c;可以调用 count 方法。比如&＃xff0c;统计所有数据条数&＃xff1a;

或者统计符合某个条件的数据&＃xff1a;

运行结果是一个数值&＃xff0c;即符合条件的数据条数

8. 排序

排序时&＃xff0c;直接调用 sort 方法&＃xff0c;并在其中传入排序的字段及升降序标志即可。示例如下&＃xff1a;


这里我们调用 pymongo.ASCENDING 指定升序。如果要降序排列&＃xff0c;可以传入 pymongo.DESCENDING

9. 偏移

在某些情况下&＃xff0c;我们可能想只取某几个元素&＃xff0c;这时可以利用 skip 方法偏移几个位置&＃xff0c;比如偏移 2&＃xff0c;就忽略前两个元素&＃xff0c;得到第三个及以后的元素&＃xff1a;


另外&＃xff0c;还可以用 limit 方法指定要取的结果个数&＃xff0c;示例如下&＃xff1a;

如果不使用 limit 方法&＃xff0c;原本会返回三个结果&＃xff0c;加了限制后&＃xff0c;会截取两个结果返回。

值得注意的是&＃xff0c;在数据库数量非常庞大的时候&＃xff0c;如千万、亿级别&＃xff0c;最好不要使用大的偏移量来查询数据&＃xff0c;因为这样很可能导致内存溢出。此时可以使用类似如下操作来查询&＃xff1a;

这时需要记录好上次查询的 _id。

10. 更新

对于数据更新&＃xff0c;我们可以使用 update 方法&＃xff0c;指定更新的条件和更新后的数据即可。例如&＃xff1a;

这里我们要更新 name 为 Kevin 的数据的年龄&＃xff1a;首先指定查询条件&＃xff0c;然后将数据查询出来&＃xff0c;修改年龄后调用 update 方法将原条件和修改后的数据传入。

返回结果是字典形式&＃xff0c;ok 代表执行成功&＃xff0c;nModified 代表影响的数据条数。

另外&＃xff0c;我们也可以使用 $set 操作符对数据进行更新&＃xff0c;代码如下&＃xff1a;

这样可以只更新 student 字典内存在的字段。如果原先还有其他字段&＃xff0c;则不会更新&＃xff0c;也不会删除。而如果不用 $set 的话&＃xff0c;则会把之前的数据全部用 student 字典替换&＃xff1b;如果原本存在其他字段&＃xff0c;则会被删除。

另外&＃xff0c;update 方法其实也是官方不推荐使用的方法。这里也分为 update_one 方法和 update_many 方法&＃xff0c;用法更加严格&＃xff0c;它们的第二个参数需要使用 $ 类型操作符作为字典的键名&＃xff0c;示例如下&＃xff1a;

这里调用了 update_one 方法&＃xff0c;其第二个参数不能再直接传入修改后的字典&＃xff0c;而是需要使用 {‘$set’: student} 这样的形式&＃xff0c;其返回结果是 UpdateResult 类型。然后分别调用 matched_count 和 modified_count 属性&＃xff0c;获得匹配的数据条数和影响的数据条数。

我们再看一个例子&＃xff1a;

这里指定查询条件为年龄大于 20&＃xff0c;然后更新条件为 {‘$inc’: {‘age’: 1}}&＃xff0c;也就是年龄加 1&＃xff0c;执行之后会将第一条符合条件的数据年龄加 1。

可以看到匹配条数为 1 条&＃xff0c;影响条数也为 1 条。

如果调用 update_many 方法&＃xff0c;则会将所有符合条件的数据都更新&＃xff0c;示例如下

可以看到&＃xff0c;这时所有匹配到的数据都会被更新。

11. 删除

删除操作比较简单&＃xff0c;直接调用 remove 方法指定删除的条件即可&＃xff0c;此时符合条件的所有数据均会被删除。示例如下&＃xff1a;

另外&＃xff0c;这里依然存在两个新的推荐方法 —— delete_one 和 delete_many。示例如下&＃xff1a;

delete_one 即删除第一条符合条件的数据&＃xff0c;delete_many 即删除所有符合条件的数据。它们的返回结果都是 DeleteResult 类型&＃xff0c;可以调用 deleted_count 属性获取删除的数据条数

12. 其他操作

另外&＃xff0c;PyMongo 还提供了一些组合方法&＃xff0c;如 find_one_and_delete、find_one_and_replace 和 find_one_and_update&＃xff0c;它们是查找后删除、替换和更新操作&＃xff0c;其用法与上述方法基本一致。

另外&＃xff0c;还可以对索引进行操作&＃xff0c;相关方法有 create_index、create_indexes 和 drop_index 等。

关于 PyMongo 的详细用法&＃xff0c;可以参见官方文档&＃xff1a;http://api.mongodb.com/python/current/api/pymongo/collection.html。

另外&＃xff0c;还有对数据库和集合本身等的一些操作&＃xff0c;这里不再一一讲解&＃xff0c;可以参见官方文档&＃xff1a;http://api.mongodb.com/python/current/api/pymongo/。

13. 总结
    本节讲解了使用 PyMongo 操作 MongoDB 进行数据增删改查的方法&＃xff0c;后面我们会在实战案例中应用这些操作进行数据存储。