网络爬虫第六章数据存储

• 概述
  一、基本存储&＃xff1a;存储至TXT或CSV
  二、存储至MongoDB数据库
      &＃xff08;1&＃xff09;下载安装MongoDB
      &＃xff08;2&＃xff09;MongoDB的基本概念
      &＃xff08;3&＃xff09;Python操作MongoDB数据库
      &＃xff08;4&＃xff09;RoboMongo的安装和使用
  

概述

主要是介绍两种存储数据的方法&＃xff1a;
&＃xff08;1&＃xff09;存储在文件中&＃xff0c;包括TXT文件和CSV文件。
&＃xff08;2&＃xff09;存储在数据库中&＃xff0c;包括MySQL关系数据库和MongoDB数据库。
返回

一、基本存储&＃xff1a;存储至TXT或CSV

1、把数据存储至TXT

title &＃61; "This is a test sentence."
with open(&＃39;title.txt&＃39;, "a&＃43;") as f:f.write(title)f.close()


有时需要把几个变量写入TXT文件中&＃xff0c;这时分隔符就比较重要了。可以采用Tab进行分隔&＃xff0c;因为在字符串中一般不会出现Tab符号。我们可以使用join函数将变量连接成一个字符串。
Python中有.join()和os.path.join()两个函数&＃xff0c;具体作用如下&＃xff1a;
. join()&＃xff1a; 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串
os.path.join()&＃xff1a; 将多个路径组合后返回

>>#对序列进行操作&＃xff08;分别使用&＃39; &＃39; 、&＃39; - &＃39;与&＃39;:&＃39;作为分隔符&＃xff09;
>> a&＃61;[&＃39;1&＃39;,&＃39;2&＃39;,&＃39;3&＃39;,&＃39;4&＃39;,&＃39;5&＃39;]
>> &＃39; &＃39;.join(a)
1 2 3 4 5
>>&＃39;;&＃39;.jion(a)
1-2-3-4-5
>>&＃39;.&＃39;.join(a)
1.2.3.4.5


>>#对字符串进行操作&＃xff08;分别使用&＃39; &＃39; 、&＃39; - &＃39;与&＃39;:&＃39;作为分隔符&＃xff09;
>>b&＃61;&＃39;hello world&＃39;
>> &＃39; &＃39;.join(b)
h e l l o w o r l d
>>&＃39;-&＃39; .join(b)
h-e-l-l-o- -w-o-r-l-d
>>&＃39;:&＃39;.jion(b)
h:e:l:l:o: :w:o:r:l:d


>>#对元组进行操作&＃xff08;分别使用&＃39; &＃39; 、&＃39; - &＃39;与&＃39;:&＃39;作为分隔符&＃xff09;
>>c&＃61;(&＃39;1&＃39;,&＃39;2&＃39;,&＃39;3&＃39;,&＃39;4&＃39;,&＃39;5&＃39;)
>>&＃39; &＃39;.join(c)
1 2 3 4 5
>>&＃39;-&＃39;.join(c)
1-2-3-4-5
>>&＃39;:&＃39;.join(c)
1:2:3:4:5


>>#对字典进行无序操作&＃xff08;分别使用&＃39; &＃39; 、&＃39; - &＃39;与&＃39;:&＃39;作为分隔符&＃xff09;
>>d&＃61;{&＃39;name1&＃39;:&＃39;a&＃39;,&＃39;name2&＃39;:&＃39;b&＃39;,&＃39;name3&＃39;:&＃39;c&＃39;,&＃39;name4&＃39;:&＃39;d&＃39;}
>>&＃39; &＃39;.join(d)
name1 name2 name3 name4
>>&＃39;-&＃39;.join(d)
name1-name2-name3-name4
>>&＃39;:&＃39;.join(d)
name1:name2:name3:name4


>>#对目录进行操作
>> import os
>>os.path.join(&＃39;/hello/&＃39;,&＃39;good/date&＃39;,&＃39;datbody&＃39;)
hello/good/date/datbody


2、把数据存储至CSV

CSV&＃xff08;Comma-Separated Values&＃xff09;是逗号分隔值的文件格式&＃xff0c;其文件以纯文本的形式存储表格数据&＃xff08;数字和文本&＃xff09;。CSV文件的每一行都用换行符分隔&＃xff0c;列与列之间用逗号分隔。
相对于TXT文件&＃xff0c;CSV文件既可以用记事本打开&＃xff0c;又可以用Excel打开&＃xff0c;表现为表格格式。CSV的使用分为读取和写入两个方面&＃xff0c;首先介绍CSV的读取。
假如我们创建了一个Excel文件&＃xff0c;里面的表格是4 x 4的&＃xff1a;

之后存为CSV&＃xff0c;文件名为test1.csv&＃xff0c;尝试从中读取数据&＃xff1a;

import csv
with open(&＃39;test1.csv&＃39;, &＃39;r&＃39;, encoding&＃61;&＃39;UTF-8&＃39;) as csvfile:csv_reader &＃61; csv.reader(csvfile)for row in csv_reader:print(row)print(row[0])

结果如下&＃xff1a;

可见&＃xff0c;csv_reader把每一行数据转化成了一个列表&＃xff08;list&＃xff09;&＃xff0c;列表中从左至右的每个元素是一个字符串。接下来我们使用writerow()方法把一个列表直接写入一列中&＃xff1a;

import csvoutput_list &＃61; [&＃39;1&＃39;, &＃39;2&＃39;, &＃39;3&＃39;, &＃39;4&＃39;]with open(&＃39;test2.csv&＃39;, &＃39;a&＃43;&＃39;, encoding&＃61;&＃39;UTF-8&＃39;, newline&＃61;&＃39;&＃39;) as csvfile:w &＃61; csv.writer(csvfile)w.writerow(output_list)


结果如下&＃xff1a;

返回

二、存储至MongoDB数据库

在网络爬虫的时候需要存储大量数据&＃xff0c;而且有时爬取返回的数据是JSON格式&＃xff0c;这时选择使用NoSQL数据库存储就容易多了。NoSQL泛指非关系型数据库。相比于关系数据库MySQL&＃xff0c;NoSQL自诞生之初就容易扩展&＃xff0c;数据之间无关系&＃xff0c;具有非常高的读写性能。

&＃xff08;1&＃xff09;下载安装MongoDB

MongoDB是一款基于分布式文件存储的数据库&＃xff0c;本身就是为了为Web应用提供可扩展的高性能数据存储。因此&＃xff0c;使用MongoDB存储网络爬虫再合适不过了。

下面介绍Windows系统下的安装&＃xff1a;

首先下载MongoDB&＃xff0c;下载windows的msi版本&＃xff1a;
https://www.mongodb.com/download-center/community

然后&＃xff0c;根据提示来安装&＃xff0c;可以选择Complete安装完整版本&＃xff0c;也可以选择Custom自己定制安装。为了方便&＃xff0c;建议选择Complete。
然后我们会看到出现了两个文件夹&＃xff0c;其中data文件夹是用来存放MongoDB数据库的&＃xff08;database&＃xff09;&＃xff0c;log文件夹用来存放数据库的操作记录。

接下来&＃xff0c;就是启动MongoDB了&＃xff0c;有两种方式&＃xff0c;这里我介绍一种较为简单的方式&＃xff0c;以Windows服务的方式打开。我们需要以管理员的身份运行cmd.exe&＃xff0c;注意一定要是管理员的身份&＃xff0c;输入&＃xff1a;

net start MongoDB


然后看到下面的界面就代表已经成功启动了。

&＃xff08;2&＃xff09;MongoDB的基本概念

为了更好地理解MongoDB的基本概念&＃xff0c;如文档、集合和数据库&＃xff0c;我们可以将MongoDB和SQL的一些概念进行比较&＃xff1a;

我们可以使用SQL的概念理解MongoDB&＃xff0c;如MongoDB中的集合&＃xff08;collection&＃xff09;类似MySQL中的表格&＃xff0c;文档&＃xff08;document&＃xff09;类似MySQL中的数据记录行&＃xff08;row&＃xff09;&＃xff0c;域&＃xff08;field&＃xff09;类似MySQL中的数据字段&＃xff08;column&＃xff09;
不过MongoDB和SQL数据库有很大区别&＃xff0c;MongoDB的文档不需要设置相同的子段&＃xff0c;并且相同的子段不需要相同的数据类型。

&＃xff08;3&＃xff09;Python操作MongoDB数据库

我们需要用pip安装PyMongo库&＃xff0c;连接Python和MongoDB。在命令行输入&＃xff1a;

pip intsall pymongo


安装完成后&＃xff0c;可以尝试用python操作MongoDB&＃xff0c;监测能否正常连接到数据库&＃xff1a;

from pymongo import MongoClient
client &＃61; MongoClient(&＃39;localhost&＃39;,27017)
db &＃61; client.blog_database
collection &＃61; db.blog


首先&＃xff0c;我们需要连接MongoDB客户端&＃xff0c;然后连接数据库blog_database&＃xff0c;如果该数据库不存在&＃xff0c;就会创建一个数据库。接下来选择该数据库的集合blog&＃xff0c;该集合不存在时也会创建一个。上述代码运行成功代表没有问题。
接下来&＃xff0c;我们爬取博客主页的所有文章标题并存储至MongoDB数据库&＃xff1a;

import requests
import datetime
from bs4 import BeautifulSoup
from pymongo import MongoClientclient &＃61; MongoClient(&＃39;localhost&＃39;,27017)
db &＃61; client.blog_database
collection &＃61; db.bloglink &＃61; "http://www.santostang.com/"
headers &＃61; {&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) \AppleWebKit/537.36 (KHTML, like Gecko) \Chrome/70.0.3538.25 \Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400 &＃39;,&＃39;Host&＃39;: &＃39;www.santostang.com&＃39;}
r &＃61; requests.get(link, headers&＃61;headers)soup &＃61; BeautifulSoup(r.text, "lxml")
title_list &＃61; soup.find_all("h1", class_&＃61;"post-title")
for eachone in title_list:url &＃61; eachone.a[&＃39;href&＃39;]title &＃61; eachone.a.text.strip()post &＃61; {"url": url, "title": title, "date":datetime.datetime.utcnow()}collection.insert_one(post)


我们使用insert_one()函数将字典加入集合collection中。
然后&＃xff0c;我们进入bin文件夹&＃xff0c;打开Mongo.exe程序&＃xff0c;输入&＃xff1a;

use blog_database
db.blog.find.pretty()


这样就能查询数据集合的数据了&＃xff0c;如下图&＃xff1a;

如果还想深入学习python操作MongoDB数据库&＃xff0c;可以到PyMongo官方网站学习&＃xff0c;地址为&＃xff1a;
https://api.mongodb.com/python/current/index.html

&＃xff08;4&＃xff09;RoboMongo的安装和使用

RoboMongo是MongoDB的图形化管理工具&＃xff0c;只要会使用mongo shell&＃xff0c;就可以用RoboMongo。
如果你想可视化地管理MongoDB的数据&＃xff0c;可以试一试使用RoboMongo。下面介绍怎么安装&＃xff1a;
首先&＃xff0c;进入https://robomongo.org/download下载RoboMongo&＃xff1a;

下载完成后&＃xff0c;我们会得到两个文件&＃xff1a;

这里我们打开robo3t-1.3.1-windows-x86_64-7419c406.exe文件&＃xff0c;根据提示安装。
然后在打开的界面选择Create&＃xff0c;默认选项单击save&＃xff1a;

之后&＃xff0c;对于新创建的这个连接&＃xff0c;单击Connect&＃xff1a;

最后我们就可以看到数据库的所有信息了&＃xff1a;

返回