requestpromise获取返回头信息_爬取某gou网的招聘信息

    猜测:网站建设,在 推广,反爬,和用户体验这三项功能上会找到一个平衡点.

    这是在学院学习期间的第二个项目&＃xff0c;也是最后一个&＃xff0c;目标是爬取网上的招聘信息&＃xff0c;并对信息做分类统计&＃xff0c;得出一个招聘方的需求向量&＃xff0c;一个福利向量&＃xff0c;然后通过某些方法得出应聘方的技能向量&＃xff0c;需求向量。最终计算招聘方与应聘方的契合度&＃xff0c;排序出最适合应聘方去投递简历的公司。

    要做数据分析&＃xff0c;首先&＃xff0c;需要搞到数据……于是小玉以自己的三脚猫的爬虫水平&＃xff0c;瞄准了某gou招聘网站。

    先进去看一眼&＃xff0c;主体页面长这样&＃xff1a;

而且是xhr动态数据加载&＃xff0c;接着我们去康康那个动态的请求&＃xff1a;

看见响应就很明确了&＃xff0c;就是这个请求返回的主体数据&＃xff0c;我们要模仿这个请求&＃xff0c;就还要查看三个关键位置&＃xff1a;1.请求头&＃xff0c;2.COOKIE&＃xff0c;3.携带的参数

1. 请求头   必须包含&＃xff1a;

headers &＃61; { # &＃39;Host&＃39;: &＃39;www.&＃xff58;&＃xff58;&＃xff58;&＃xff58;.com&＃39;, &＃39;User-Agent&＃39;: UserAgent().random, # &＃39;Accept&＃39;: &＃39;application/json, text/Javascript, */*; q&＃61;0.01&＃39;, # &＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.8,zh-TW;q&＃61;0.7,zh-HK;q&＃61;0.5,en-US;q&＃61;0.3,en;q&＃61;0.2&＃39;, # &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate, br&＃39;, &＃39;Content-Type&＃39;: &＃39;application/x-www-form-urlencoded; charset&＃61;UTF-8&＃39;, # 第一天尝试时&＃xff0c;对方并没有验证此项&＃xff0c;后来发现&＃xff0c;没有这一项&＃xff0c;15条信息与搜索关键字不符。 # &＃39;X-Anit-Forge-Token&＃39;: &＃39;None&＃39;, # &＃39;X-Anit-Forge-Code&＃39;: &＃39;0&＃39;, # &＃39;X-Requested-With&＃39;: &＃39;XMLHttpRequest&＃39;, # &＃39;Content-Length&＃39;: &＃39;64&＃39;, &＃39;Origin&＃39;: &＃39;https://www.&＃xff58;&＃xff58;&＃xff58;&＃xff58;.com&＃39;, # &＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;Referer&＃39;: &＃39;https://www.&＃xff58;&＃xff58;&＃xff58;&＃xff58;.com/jobs/list_python&＃39;, &＃39;COOKIE&＃39;: COOKIE, # &＃39;TE&＃39;: &＃39;Trailers&＃39;, # &＃39;Pragma&＃39;: &＃39;no-cache&＃39;, # &＃39;Cache-Control&＃39;: &＃39;no-cache&＃39; }

    请求头里面有一个很明显的数据是COOKIE&＃xff0c;这本来也是一项非常关键的参数&＃xff0c;我们一起来看一下&＃xff1a;

当小玉看见这个COOKIE的时候&＃xff0c;直接就傻眼了&＃xff0c;这TM都是些啥呀&＃xff1f;感觉全是加密的参数呀……

但是小玉灵机一动&＃xff01;直接删除了这个COOKIE&＃xff0c;然后刷新网页&＃xff0c;重新找到了这个请求的信息一看&＃xff1a;

诶&＃xff0c;有意思&＃xff0c;COOKIE变少了&＃xff0c;请求数据一样的响应了&＃xff0c;那么这些COOKIE怎么来的呢&＃xff1f;于是在HTML请求中直接搜索COOKIE&＃xff0c;只看响应COOKIE&＃xff0c;还真就找到了一个请求&＃xff1a;

幸运的是这个获取COOKIE的请求没有携带任何参数和先决COOKIE&＃xff0c;用requests直接向url发起请求就能直接拿到响应的COOKIE

def get_1_COOKIE(): # 返回页面和COOKIE:JSESSIONID,SEARCH_ID,user_trace_token,X_HTTP_TOKEN url_0 &＃61; &＃39;http://www.XXXX.com/jobs/list_python&＃39;    headers_0 &＃61; {        &＃39;User-Agent&＃39;: UserAgent().random, &＃39;Referer&＃39;: &＃39;https://www.XXXXX.com/jobs/list_python&＃39;, } response &＃61; requests.get(url&＃61;url_0, headers&＃61;headers_0) # 获取requests请求返回的COOKIE COOKIE &＃61; requests.utils.dict_from_COOKIEjar(response.COOKIEs) COOKIE_str &＃61; &＃39;&＃39; for k, v in COOKIE.items(): COOKIE_str &＃43;&＃61; f&＃39;{k}&＃61;{v}; &＃39; print(COOKIE_str) return COOKIE_str

    3.携带的信息&＃xff1a;    我们再来看一下那个xhr的请求所携带的信息(请求体)

    经过测试&＃xff0c;可以发现&＃xff0c;表单里面的sid是可以删除的。嗯没错&＃xff0c;结论就是四个字&＃xff1a;可以删除。小玉想了想前两天硬着头皮朔源这个sid的时候&＃xff0c;真的是快裂开了……至此这个xhr请求已经模拟完成,可以获取每一页的15条招聘信息简要&＃xff0c;

def get_15_message(direction, page, COOKIE): """ 返回15条招聘信息的简要 包含 招聘ID&＃xff1a;positionId 6884621 招聘名称&＃xff1a;positionName &＃39;Python开发工程师&＃39; 公司ID&＃xff1a;companyId 124262 公司名字&＃xff1a;companyFullName &＃39;&＃xff58;&＃xff58;&＃xff58;&＃xff58;&＃xff58;公司&＃39; 公司规模&＃xff1a;companySize &＃39;150-500人&＃39; 公司主业&＃xff1a;industryField &＃39;硬件,其他&＃39; 融资阶段&＃xff1a;financeStage &＃39;不需要融资&＃39; or &＃39;A轮&＃39; skillLables positionLables industryLables 此三项为技能名称列表&＃xff0c;其中内容大致相同&＃xff0c;需要取三项并集&＃xff0c;有的岗位可能会缺失其中1到2项 [&＃39;电商&＃39;, &＃39;算法&＃39;, &＃39;爬虫工程师&＃39;, &＃39;Python&＃39;, &＃39;MySQL&＃39;] 创建时间: createTime &＃39;2020-06-23 11:52:45&＃39; 城市&＃xff1a;city &＃39;上海&＃39; 区域&＃xff1a;district &＃39;徐汇区&＃39; 薪水&＃xff1a;salary &＃39;20k-40k&＃39; 工作经验&＃xff1a;workYear &＃39;3-5年&＃39; 学历: education &＃39;本科&＃39; """ headers &＃61; { # &＃39;Host&＃39;: &＃39;www.&＃xff58;&＃xff58;&＃xff58;&＃xff58;.com&＃39;, &＃39;User-Agent&＃39;: UserAgent().random, # &＃39;Accept&＃39;: &＃39;application/json, text/Javascript, */*; q&＃61;0.01&＃39;, # &＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.8,zh-TW;q&＃61;0.7,zh-HK;q&＃61;0.5,en-US;q&＃61;0.3,en;q&＃61;0.2&＃39;, # &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate, br&＃39;, &＃39;Content-Type&＃39;: &＃39;application/x-www-form-urlencoded; charset&＃61;UTF-8&＃39;, # 第一天尝试时&＃xff0c;对方并没有验证此项&＃xff0c;后来发现&＃xff0c;没有这一项&＃xff0c;15条信息与搜索关键字不符。 # &＃39;X-Anit-Forge-Token&＃39;: &＃39;None&＃39;, # &＃39;X-Anit-Forge-Code&＃39;: &＃39;0&＃39;, # &＃39;X-Requested-With&＃39;: &＃39;XMLHttpRequest&＃39;, # &＃39;Content-Length&＃39;: &＃39;64&＃39;, &＃39;Origin&＃39;: &＃39;https://www.XXXXX.com&＃39;, # &＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;Referer&＃39;: &＃39;https://www.XXXX.com/jobs/list_python&＃39;, &＃39;COOKIE&＃39;: COOKIE, # &＃39;TE&＃39;: &＃39;Trailers&＃39;, # &＃39;Pragma&＃39;: &＃39;no-cache&＃39;, # &＃39;Cache-Control&＃39;: &＃39;no-cache&＃39;    } url &＃61; &＃39;https://www.XXXX.com/jobs/positionAjax.json?needAddtionalResult&＃61;false&＃39; data &＃61; requests.post(url&＃61;url, headers&＃61;headers, data&＃61;f&＃39;first&＃61;true&pn&＃61;{page}&kd&＃61;{direction}&＃39;).text data_json &＃61; json.loads(data) print(f&＃39;{direction}第{page}页&＃xff1a;&＃39;, data_json) jobs &＃61; data_json[&＃39;content&＃39;][&＃39;positionResult&＃39;][&＃39;result&＃39;] return jobs

接下来是爬取每个招聘岗位的详细信息&＃xff1a;

    这个就比较简单了&＃xff0c;为了不走弯路&＃xff0c;上来就是删除看不懂的COOKIE&＃xff0c;然后发现&＃xff0c;这个详细信息&＃xff0c;也不需要用到COOKIE

def countents(positionId): """ .*? :该职位全部信息 .*? :职位诱惑 .*? :职位详细描述

(.*?)

(.*?)

这里我比较喜欢用正则来匹配想要的信息&＃xff0c;纯属个人喜好&＃xff01;

至此&＃xff0c;数据爬取阶段结束&＃xff0c;由于在爬取详细信息的时候没有使用COOKIE&＃xff0c;所以对时间间隔的要求非常高(原因是我猜的)&＃xff0c;我设置的&＃xff53;&＃xff4c;&＃xff45;&＃xff45;&＃xff50;是&＃xff12;&＃xff10;秒。反正&＃xff11;&＃xff10;秒是不够的。

接下来还有数据存储&＃xff0c;数据库设计&＃xff0c;数据整理&＃xff0c;分析这一最为重要的内容&＃xff0c;就不再这篇文章中写了&＃xff0c;太难了&＃xff0c;我还没想好向量的结构和权重的计算方式……&＃xff0c;留作下一篇吧&＃xff01;

    最后的最后,聊一聊为什么不使用COOKIE或者使用部分COOKIE也能获得信息呢?网站既然已经发出来一大串的加密COOKIE,那么要对其进行验证,是一件非常简单的事情,那么为什么网站允许没有COOKIE的请求也能获取信息呢?小玉想了很久,只能得出一个大概的猜测:就是文章开头的那一句:网站建设,在 推广,反爬,和用户体验这三项功能上会找到一个平衡点.