小编给大家分享一下Python3爬虫中JSON文件的存储操作，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨吧！JSON，全称为JavaScriptObjectN
小编给大家分享一下Python3爬虫中JSON文件的存储操作，希望大家阅读完这篇文章后大所收获，下面让我们一起去探讨吧！
JSON，全称为Javascript Object Notation, 也就是Javascript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。本节中，我们就来了解如何利用Python保存数据到JSON文件。
1. 对象和数组
在Javascript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，下面简要介绍一下它们。
对象：它在Javascript中是使用花括号{}包裹起来的内容，数据结构为{key1：value1, key2：value2, ...}的键值对结构。在面向对象的语言中，key为对象的属性，value为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。
数组：数组在Javascript中是方括号[]包裹起来的内容，数据结构为["java", "Javascript", "vb", ...]的索引结构。在Javascript中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。
所以，一个JSON对象可以写为如下形式：
[{
"name": "Bob",
"gender": "male",
"birthday": "1992-10-18"
}, {
"name": "Selina",
"gender": "female",
"birthday": "1995-10-18"
}]由中括号包围的就相当于列表类型，列表中的每个元素可以是任意类型，这个示例中它是字典类型，由大括号包围。
JSON可以由以上两种形式自由组合而成，可以无限次嵌套，结构清晰，是数据交换的极佳方式。
2. 读取JSON
Python为我们提供了简单易用的库来实现JSON文件的读写操作，我们可以调用库的loads()方法将JSON文本字符串转为JSON对象，可以通过dumps()方法将JSON对象转为文本字符串。
例如，这里有一段JSON形式的字符串，它是str类型，我们用Python将其转换为可操作的数据结构，如列表或字典：
import json
str = &＃39;&＃39;&＃39;
[{
"name": "Bob",
"gender": "male",
"birthday": "1992-10-18"
}, {
"name": "Selina",
"gender": "female",
"birthday": "1995-10-18"
}]
&＃39;&＃39;&＃39;
print(type(str))
data = json.loads(str)
print(data)
print(type(data))运行结果如下：
[{&＃39;name&＃39;: &＃39;Bob&＃39;, &＃39;gender&＃39;: &＃39;male&＃39;, &＃39;birthday&＃39;: &＃39;1992-10-18&＃39;}, {&＃39;name&＃39;: &＃39;Selina&＃39;, &＃39;gender&＃39;: &＃39;female&＃39;, &＃39;birthday&＃39;:
&＃39;1995-10-18&＃39;}]
这里使用loads()方法将字符串转为JSON对象。由于最外层是中括号，所以最终的类型是列表类型。
这样一来，我们就可以用索引来获取对应的内容了。例如，如果想取第一个元素里的name属性，就可以使用如下方式：
data[0][&＃39;name&＃39;]
data[0].get(&＃39;name&＃39;)
得到的结果都是：
Bob
通过中括号加0索引，可以得到第一个字典元素，然后再调用其键名即可得到相应的键值。获取键值时有两种方式，一种是中括号加键名，另一种是通过get()方法传入键名。这里推荐使用get()方法，这样如果键名不存在，则不会报错，会返回None。另外，get()方法还可以传入第二个参数（即默认值），示例如下：
data[0].get(&＃39;age&＃39;)
data[0].get(&＃39;age&＃39;, 25)
运行结果如下：
None
25
这里我们尝试获取年龄age，其实在原字典中该键名不存在，此时默认会返回None。如果传入第二个参数（即默认值），那么在不存在的情况下返回该默认值。
值得注意的是，JSON的数据需要用双引号来包围，不能使用单引号。例如，若使用如下形式表示，则会出现错误：
import json
str = &＃39;&＃39;&＃39;
[{
&＃39;name&＃39;: &＃39;Bob&＃39;,
&＃39;gender&＃39;: &＃39;male&＃39;,
&＃39;birthday&＃39;: &＃39;1992-10-18&＃39;
}]
&＃39;&＃39;&＃39;
data = json.loads(str)运行结果如下：
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 (char 8)
这里会出现JSON解析错误的提示。这是因为这里数据用单引号来包围，请千万注意JSON字符串的表示需要用双引号，否则loads()方法会解析失败。
如果从JSON文本中读取内容，例如这里有一个data.文本文件，其内容是刚才定义的JSON字符串，我们可以先将文本文件内容读出，然后再利用loads()方法转化：
import json
with open(&＃39;data.json&＃39;, &＃39;r&＃39;) as file:
str = file.read()
data = json.loads(str)
print(data)
运行结果如下：
[{&＃39;name&＃39;: &＃39;Bob&＃39;, &＃39;gender&＃39;: &＃39;male&＃39;, &＃39;birthday&＃39;: &＃39;1992-10-18&＃39;}, {&＃39;name&＃39;: &＃39;Selina&＃39;, &＃39;gender&＃39;: &＃39;female&＃39;, &＃39;birthday&＃39;:
&＃39;1995-10-18&＃39;}]3. 输出JSON
另外，我们还可以调用dumps()方法将JSON对象转化为字符串。例如，将上例中的列表重新写入文本：
import json
data = [{
&＃39;name&＃39;: &＃39;Bob&＃39;,
&＃39;gender&＃39;: &＃39;male&＃39;,
&＃39;birthday&＃39;: &＃39;1992-10-18&＃39;
}]
with open(&＃39;data.json&＃39;, &＃39;w&＃39;) as file:
file.write(json.dumps(data))利用dumps()方法，我们可以将JSON对象转为字符串，然后再调用文件的write()方法写入文本，结果如图5-2所示。
另外，如果想保存JSON的格式，可以再加一个参数indent，代表缩进字符个数。示例如下：
with open(&＃39;data.json&＃39;, &＃39;w&＃39;) as file:
file.write(json.dumps(data, indent=2))
此时写入结果如图5-3所示。
这样得到的内容会自动带缩进，格式会更加清晰。
另外，如果JSON中包含中文字符，会怎么样呢？例如，我们将之前的JSON的部分值改为中文，再用之前的方法写入到文本：
import json
data = [{
&＃39;name&＃39;: &＃39;王伟&＃39;,
&＃39;gender&＃39;: &＃39;男&＃39;,
&＃39;birthday&＃39;: &＃39;1992-10-18&＃39;
}]
with open(&＃39;data.json&＃39;, &＃39;w&＃39;) as file:
file.write(json.dumps(data, indent=2))写入结果如图5-4所示。
可以看到，中文字符都变成了Unicode字符，这并不是我们想要的结果。
为了输出中文，还需要指定参数ensure_ascii为False，另外还要规定文件输出的编码：
with open(&＃39;data.json&＃39;, &＃39;w&＃39;, encoding=&＃39;utf-8&＃39;) as file:
file.write(json.dumps(data, indent=2, ensure_ascii=False))
写入结果如图5-5所示。
可以发现，这样就可以输出JSON为中文了。
看完了这篇文章，相信你对Python3爬虫中JSON文件的存储操作有了一定的了解，想了解更多相关知识，欢迎关注编程笔记行业资讯频道，感谢各位的阅读！
京公网安备 11010802041100号