关于python3实现cookie登录问题

尝试写了个小爬虫，抓点虎扑上面的发帖信息，但发现查看到一定页数后以及一些用户资料信息时，需要进行用户登录。

于是在网上找了些资料，发现总是失败，而且虎扑的登录有15分钟重复登录则要输入验证码的限制。后来几经周转和向他人请教，方才实现。

现将思路整理下来：

第一步，确定post数据的页面(post给网站你的用户名、密码等信息)

我之前一直是用http://passport.hupu.com/login，在用浏览器抓取post信息的时候，也没有仔细观察，

其实对于虎扑而言，需要post数据的页面是：http://passport.hupu.com/pc/login/member.action

第二步：封装COOKIE信息

COOKIE = http.COOKIEjar.COOKIEJar()
COOKIEProc = urllib.request.HTTPCOOKIEProcessor(COOKIE)
opener = urllib.request.build_opener(COOKIEProc)
urllib.request.install_opener(opener)

写header和postdata数据：

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',  
           'Referer' : 'https://passport.hupu.com/pc/login?project=my&from=pc'}  
 
postData = {
            'username' : 'xxx',  
            'password' : 'xxx' 
            } 

第三步：

写个函数，进行页面上的请求：

def GetUrlRequest(iUrl,iStrPostData,header):
    postdata=urllib.parse.urlencode(iStrPostData)
    postdata=postdata.encode(encoding='UTF8')
    req= urllib.request.Request(
               url = iUrl,
               data = postdata,
               headers = header)
    result=urllib.request.urlopen(req).read().decode("UTF8")
    return result

第四步：

执行了上面的函数后，爬虫程序便已经具有COOKIE信息，以后在访问其他页面的时候，直接传入header和url即可，不要重复传入postdata，

同样，也不要再次执行上面的函数操作。

    req=urllib.request.Request(url=url,headers=headers)
    result=urllib.request.urlopen(req).read().decode("gbk")
    print(result)

url可以是你要访问的其他页面了。