python中scrapy如何模拟登录

小编给大家分享一下python中scrapy如何模拟登录，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

1、requests模块。直接携带COOKIEs请求页面。

找到url，发送post请求存储COOKIE。

2、selenium(浏览器自动处理COOKIE)。

找到相应的input标签，输入文本，点击登录。

3、scrapy直接带COOKIEs。

找到url，发送post请求存储COOKIE。

# -*- coding: utf-8 -*-
import scrapy
import re
 
class GithubLoginSpider(scrapy.Spider):
    name = &＃39;github_login&＃39;
    allowed_domains = [&＃39;github.com&＃39;]
    start_urls = [&＃39;https://github.com/login&＃39;]
 
    def parse(self, response): # 发送Post请求获取COOKIEs
        authenticity_token = response.xpath(&＃39;//input[@name="authenticity_token"]/@value&＃39;).extract_first()
        utf8 = response.xpath(&＃39;//input[@name="utf8"]/@value&＃39;).extract_first()
        commit = response.xpath(&＃39;//input[@name="commit"]/@value&＃39;).extract_first()
        form_data = {
            &＃39;login&＃39;: &＃39;pengjunlee@163.com&＃39;,
            &＃39;password&＃39;: &＃39;123456&＃39;,
            &＃39;webauthn-support&＃39;: &＃39;supported&＃39;,
            &＃39;authenticity_token&＃39;: authenticity_token,
            &＃39;utf8&＃39;: utf8,
            &＃39;commit&＃39;: commit}
        yield scrapy.FormRequest("https://github.com/session", formdata=form_data, callback=self.after_login)
 
    def after_login(self, response): # 验证是否请求成功
        print(re.findall(&＃39;Learn Git and GitHub without any code!&＃39;, response.body.decode()))

以上是“python中scrapy如何模拟登录”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注编程笔记行业资讯频道！