python如何爬虫eps数据_Python爬虫常用的几种数据保存方式

Python爬虫基本思路

txt:

1, open(&＃39;文件名&＃39;,&＃39;读写模式&＃39;)&＃xff0c; f &＃61; open(&＃39;csdn.txt&＃39;,&＃39;w&＃39;, encodeing&＃61;&＃39;utf-8&＃39;)

2&＃xff0c;f.write()

3&＃xff0c;f.close()

MySQL:

1. 打开数据库连接 db&＃61; pymysql.connect(&＃39;服务器地址&＃39;&＃xff0c;&＃39;账号&＃39;&＃xff0c; &＃39;密码&＃39;&＃xff0c;&＃39;数据库名&＃39;, &＃39;编码方式&＃39;)

2. 调用cursor方法获得操作游标cursor&＃61;db.cursor

3. 写SQL语句sql &＃61; &＃39;&＃39;

4. 执行SQL语句, cursor.execute(sql)

5. 提交到数据库执行 &＃xff0c;db.commit()

6. 关闭数据库&＃xff0c; db.close()

xlwt:

1,创建book&＃xff0c;sheet对象, 添加头&＃xff1a;

book&＃61;xlwt.Workbook(&＃39;encodeing&＃61;utf-8&＃39;)

sheet&＃61;book.add_sheet(&＃39;职位简介&＃39;)

sheet.write(行&＃xff0c;列&＃xff0c;值&＃xff09;

2,写入

sheet.write(行&＃xff0c;列&＃xff0c; 值&＃xff09;

3,保存

book.save(&＃39;文件名.xls&＃39;)

MongoDB:

创建数据库的连接客户端

self.client &＃61; pymongo.MongoClient(localhost)

根据客户端对象&＃xff0c;连接数据库

self.db &＃61; self.client[数据库名]

插入一条数据

db[&＃39;表名&＃39;].insert_one(data)

MongoDB备注&＃xff1a;

insert_one: 覆盖式的

更新的方法&＃xff1a;

参数1&＃xff1a;指定根据什么字段去数据库中进行查询&＃xff0c;字段的值。

参数2&＃xff1a;如果经过参数1的查询&＃xff0c;查询到这条数据&＃xff0c;执行更新的操作&＃xff1b;反之&＃xff0c;执行插入的操作&＃xff1b;$set是一个固定的写法。

参数3&＃xff1a;是否允许更新

db[&＃39;article&＃39;].update_one({&＃39;info&＃39;: data[&＃39;info&＃39;]}, {&＃39;$set&＃39;: data}, True)