利用爬虫技术抓取数据，结合Fiddler与Postman在Chrome中的应用优化提交流程

为什么80%的码农都做不了架构师&＃xff1f;>>>

这段时间在做爬虫&＃xff0c;需要对目标网站抓包查看其源数据&＃xff0c;然后模拟提交去获取数据&＃xff0c;主要分为抓包和模拟两步&＃xff1a;

一、抓包

方法一&＃xff1a;chrome自带的调试工具&＃xff0c;切换到network即可查看到
方法二&＃xff1a;Fiddler抓包&＃xff1a;适用与不支持chrome的网站&＃xff0c;但只支持windows
方法三&＃xff1a;Paw&＃xff0c;但该软件收费&＃xff0c;request好像没有xml的选项
方法四&＃xff08;建议采用该方法&＃xff09;&＃xff1a;postman&＃43;chrome的插件&＃xff1a;先下载postman&＃xff0c;然后用google账户登录后&＃xff0c;打开右上方的按钮

点击之后会提示安装chrome扩展&＃xff0c;扩展安装好了之后&＃xff0c;需要在chrome中开启扩展&＃xff0c;并打开Postman

然后chrome中正常访问提交&＃xff0c;postman的左侧会有访问记录&＃xff0c;选中关键性的访问记录&＃xff0c;然后点击右边的 Send按钮即可看到模拟结果
方法五&＃xff1a;经过方法四之后&＃xff0c;电脑会自动安装一个postman的原生app&＃xff0c;可以直接使用&＃xff0c;无需结合chrome&＃xff0c;使用方法和方法四一致&＃xff1a;

二、模拟提交

用第一步的方法三已经实现了模拟&＃xff0c;用的是postman复制chrome状态&＃xff0c;如果网站不支持chrome访问&＃xff0c;可以用Fiddler抓包或ie最新版本&＃xff08;和chrome一样支持抓包&＃xff09;&＃xff0c;然后在postman中手动模拟即可

模拟出来之后就可以愉快在爬虫程序中设置header&＃xff0c;post数据提交获取源数据了&＃xff01;

后续&＃xff1a;post数据编码问题&＃xff1a;可以先在chrome中访问一下目标网页&＃xff0c;可以得到header头&＃xff1a;Accept-Charset gb2312 这样的类型&＃xff0c;可以手动修改

附php远程提交xml数据代码&＃xff1a;

$url &＃61; "http://localhost/response.php"; $data &＃61; &＃39;wxf8b4f85f3a794e771001错误描述transaction_id&＃61;335344535341393860740f8164781a303f4d5a944a2dfc68411a8c7e4fbeasha1&＃39;;$ch &＃61; curl_init(); $header[] &＃61; "Content-type: text/xml";//定义content-type为xml curl_setopt($ch, CURLOPT_URL, $url); //定义表单提交地址 curl_setopt($ch, CURLOPT_POST, 1); //定义提交类型 1&＃xff1a;POST &＃xff1b;0&＃xff1a;GET curl_setopt($ch, CURLOPT_HEADER, 1); //定义是否显示状态头 1&＃xff1a;显示 &＃xff1b; 0&＃xff1a;不显示 curl_setopt($ch, CURLOPT_HTTPHEADER, $header);//定义请求类型 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);//定义是否直接输出返回流 curl_setopt($ch, CURLOPT_POSTFIELDS, $data); //定义提交的数据&＃xff0c;这里是XML文件 $result &＃61; curl_exec($ch); curl_close($ch);//关闭//远程端接收xml数据代码 $postStr &＃61; $GLOBALS["HTTP_RAW_POST_DATA"]; $postObj &＃61; simplexml_load_string($postStr, &＃39;SimpleXMLElement&＃39;, LIBXML_NOCDATA);