热门文章_Scrapy学习第五课

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Scrapy学习第五课相关的知识，希望对你有一定的参考价值。

python爬虫框架scrapy学习第五课

• 任务:爬取简书30日热门文章信息&＃xff0c;数据存储在MongoDB库中
• 执行&＃xff1a;爬虫操作及数据存储
• • 安装mongdb
  • python 连接mongodb驱动PyMongo
  • 爬虫实例
  
  
• 结果&＃xff1a;爬取结果展示
• 问题总结
• • DEBUG: Crawled (403) XXX
  
  

简书热门30日

安装mongdb

1. 下载mongodb安装包。由于尝试官网下载一直失败&＃xff0c;故从该mongodb下载链接 处下载安装包。

2. 参照mongoDB入门与安装进行安装。这里需要注意的是msi文件安装完成后&＃xff0c;自带data文件夹&＃xff0c;因此不需要额外新建数据存放目录。
   

3. 以管理员身份启动mongodb服务。注意执行net start mongodb一定是在管理员身份下运行cmd/powershell,否则会出现没有访问权限/访问被拒绝的错误。

python 连接mongodb驱动PyMongo

1. 安装PyMongo需执行如下命令

pip install pymongo

2. 在python文件需要连接mongodb处&＃xff0c;导入

import pymongo

爬虫实例

1. 具体爬虫文件——jian.py

# -*- coding: utf-8 -*-
import scrapy
from JianShu.items import JianshuItem
class JianSpider(scrapy.Spider):
name &＃61; &＃39;jian&＃39;
allowed_domains &＃61; [&＃39;www.jianshu.com&＃39;]
start_urls &＃61; (&＃39;https://www.jianshu.com/trending/monthly?utm_medium&＃61;index-banner-s&utm_source&＃61;desktop&＃39;,)
def parse(self, response):

item &＃61; JianshuItem()
content &＃61; response.xpath(&＃39;//div[&＃64;class&＃61;"content"]&＃39;)
for each in content:
item[&＃39;title&＃39;] &＃61; each.xpath(&＃39;./a/text()&＃39;)[0].extract()
abstract &＃61; each.xpath(&＃39;./p/text()&＃39;)[0].extract()
abstract &＃61; abstract.replace("\\n", "")
abstract &＃61; abstract.strip()
item[&＃39;abstract&＃39;] &＃61; abstract
item[&＃39;nickname&＃39;] &＃61; each.xpath(&＃39;./div/a/text()&＃39;)[0].extract()
item[&＃39;link&＃39;] &＃61; "https://www.jianshu.com" &＃43; each.xpath(&＃39;./a/&＃64;href&＃39;)[0].extract()
yield item


2. items.py

import scrapy
class JianshuItem(scrapy.Item):

#文章标题
title &＃61; scrapy.Field()
#摘要
abstract &＃61; scrapy.Field()
#作者
nickname &＃61; scrapy.Field()
#文章链接
link &＃61; scrapy.Field()


3. pipelines.py

import pymongo
from scrapy.conf import settings
class JianshuPipeline(object):
def __init__(self):
#主机
host &＃61; settings["MONGODB_HOST"]
#端口
port &＃61; settings["MONGODB_PORT"]
#数据库名
dbname &＃61; settings["MONGODB_DBNAME"]
#数据表
sheetname &＃61; settings["MONGODB_SHEETNAME"]
#创建MONGODB数据库
client &＃61; pymongo.MongoClient(host&＃61;host, port&＃61;port)
#指定数据库
mydb &＃61; client[dbname]
#指定数据表
self.post &＃61; mydb[sheetname]
def process_item(self, item, spider):
data &＃61; dict(item)
self.post.insert(data)
return item


4. settings.py

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT &＃61; &＃39;Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;&＃39;
ITEM_PIPELINES&＃61;
&＃39;JianShu.pipelines.JianshuPipeline&＃39;:300
MONGODB_HOST &＃61; "127.0.0.1"
MONGODB_PORT &＃61; 27017
MONGODB_DBNAME &＃61; "jianshu"
MONGODB_SHEETNAME &＃61; "jianshuPaper"

结果&＃xff1a;爬取结果展示

爬取到的数据存储在mongodb数据库中&＃xff0c;查看新建的数数据库“jianshu”&＃xff0c;数据表“jianshuPaper”和表内容是否存在&＃xff0c;具体操作如下。

1. 连接数据库
   

2. 查看已有数据库
   

3. 查看库jianshu的表
   

4. 查看表jianshuPaper内容
   

DEBUG: Crawled (403) XXX

解决&＃xff1a;settings.py文件中增加如下代理

USER_AGENT &＃61; ‘Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;’