作者：Only_cxy | 来源：互联网 | 2023-02-12 18:03
接上一篇的，发现爬斗鱼主播信息存入Mongodb数据库后，发现很多重复的数据，毕竟斗鱼不可能有这么多的主播，所以很多页是有重复的主播房间的。查了一下怎么去重，发现比较麻烦，与其存入
接上一篇的，发现爬斗鱼主播信息存入Mongodb数据库后，发现很多重复的数据，毕竟斗鱼不可能有这么多的主播，所以很多页是有重复的主播房间的。
查了一下怎么去重，发现比较麻烦，与其存入重复的数据后面再去重，还不如在存入数据库的时候就检查，不去存入重复的数据，这样就避免了后期再去做去重工作。于是改动如下：
#-*- coding:utf-8 -*-
#_author:John
#date:2018/10/25 0:07
#softwave: PyCharm
import requests
import json
from multiprocessing import Pool
import pymongo
import datetime
client = pymongo.MongoClient('localhost')
db = client['douyu']
cur_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M')
def single_page_info(page):
respones = requests.get('https://www.douyu.com/gapi/rkc/directory/0_0/{}'.format(page))
datas = json.loads(respones.text)
items = datas['data']['rl']
for item in items:
data = {
'标题': item['rn'],
'主播': item['nn'],
'人气': item['ol'],
'类别': item['c2name'],
'房间号': item['rid'],
'时间': cur_time
}
# 不保存相同时间相同主播名的记录
if db['host_info'].update({'主播': data['主播'], '时间': data['时间']}, {'$set': data}, True):
print('Save to Mongo, {}'.format(data))
else:
print('Save to Mong fail, {}'.format(data))
print('已经完成第{}页'.format(page))
if __name__ == '__main__':
pool = Pool()
#多线程抓200页
pool.map(single_page_info, [page for page in range(1, 201)])
这个方法如果碰到基础数据量很大的情况下相当缓慢，这里是我的一个解决方案
https://www.cnblogs.com/lkd8477604/p/10201137.html
如果是已经存入数据库的数据，就需要重新遍历去重后逐条存入新的数据库中。虽然用了多线程，数据量大的话速度还是挺慢的。
#-*- coding:utf-8 -*-
#_author:John
#date:2018/12/31 14:34
#softwave: PyCharm
import pymongo
from multiprocessing import Pool
client = pymongo.MongoClient('localhost')
db = client['douyu']def save_to_mongo(data):
db['host_info_new'].update({'主播': data['主播'], '时间': data['时间']}, {'$set': data}, True)
print(data)
if __name__ == '__main__':
pool = Pool()
pool.map(save_to_mongo, [data for data in db['host_info_old'].find()])
京公网安备 11010802041100号