Scrapy爬虫模拟登陆豆瓣

首先还是创建爬虫，其命令如下：

#01.创建 Scrapy 项目
scrapy startproject simulate_login
#02. 进入 simulate_login目录下，创建爬虫
scrapy genspider your_spider douban.com


模拟登陆豆瓣的关键点
1、分析真实post地址，寻找formdata；
2、模拟post，构造类似的formdata；
3、处理验证码。
豆瓣登陆地址为https://accounts.douban.com/login,进入登陆界面，我们首先输入账号和密码，密码故意输错，然后输入正确的验证码。按F12分析真实的post地址&＃8212;，寻找他的formdata，如下图：

捕获.PNG

实战操作：
几个注意事项：
1、注意Python2和Python3的部分语法区别；
2、注意根据自己的实际情况，填写headers部分。

到2018年8月10日为止，该方法还可以登陆豆瓣。下面贴出主要代码：

# -*- coding: utf-8 -*-
import scrapy
import urllib,re
from scrapy.http import Request,FormRequest
class YourSpiderSpider(scrapy.Spider):
name = 'your_spider'
allowed_domains = ['douban.com']
#start_urls = ['http://douban.com/']
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36"} #供登录模拟使用 def start_requests(self):
url='https://www.douban.com/accounts/login'
#return [Request(url=url,meta={"COOKIEjar":1},callback=self.parse)]#可以传递一个标示符来使用多个。如meta={'COOKIEjar': 1}这句，后面那个1就是标示符
return [scrapy.FormRequest("https://accounts.douban.com/login", headers=self.headers, meta={"COOKIEjar":1}, callback=self.parse)]
def get_content(self, response):
title = response.xpath('//title/text()').extract()[0]
if u'登录豆瓣' in title:
print("登录失败，请重试")
else:
print("登陆成功")
def parse(self, response):

captcha = response.xpath('//*[@id="captcha_image"]/@src').extract()
print(captcha)
if len(captcha)>0:
#有验证码，人工输入验证码
urllib.request.urlretrieve(captcha[0],filename=r"C:\Users\LBX\your_project\simulate_login\simulate_login\captcha.png")
captcha_value=input('查看captcha.png,有验证码请输入:')
data={
"form_email":"18353113181@163.com",
"form_password":"9241113minda",
"captcha-solution":captcha_value,
}
else:
#此时没有验证码
print("无验证码")
data={
"form_email":"18353113181@163.com",
"form_password":"9241113minda",
}
print("正在登陆中.....")
#进行登录
return[
FormRequest.from_response(
response,
meta={"COOKIEjar":response.meta["COOKIEjar"]},
headers=self.headers,
formdata=data,
callback=self.get_content,
)
]