Jsoup使用问题

1、问题描述

最近在用Jsoup 爬数据&＃xff0c;对方是API接口&＃xff0c;返回的是JSON结构&＃xff0c;但是在获取数据后发现有部分数据缺失&＃xff0c;其中主要缺失的数据时 标签类的数据。

2、排查过程

2.1、使用Postman 调用接口返回数据正常

2.2、使用jsoup 传入同样的参数&＃xff0c;调用后拿到的数据不正确

2.3、对比参数&＃xff0c;参数一致&＃xff0c;并且去掉大部分参数后postman 返回的结果依然正常 

2.4、浏览器直接调用接口&＃xff0c;这时发现一个问题&＃xff0c;浏览器解析了标签&＃xff0c;但是图片没有显示出来

3、问题定位

通过第二步的排查&＃xff0c;前三个排查都没问题&＃xff0c;问题出现在第四个现象中&＃xff0c;此时我怀疑是因为我用Joup 直接返回的Document对象导致&＃xff0c;修改后问题解决

4、解决办法

修改Joup返回方式&＃xff0c;不直接返回Docment对象&＃xff0c;改为直接返回字符串&＃xff0c;如果要提取部分内容&＃xff0c;还是要用Document 来解析的

更改前&＃xff1a;

public Document get(String url) throws IOException {Document doc &＃61; Jsoup.connect(url).header("Accept-Encoding", "gzip").header("Content-Type", "application/x-www-form-urlencoded").userAgent("Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1").ignoreContentType(true).referrer(url).get();return doc;}

更改后&＃xff1a;

public String get(String url) throws IOException {Connection.Response doc &＃61; Jsoup.connect(url).header("Accept-Encoding", "gzip").header("Content-Type", "application/x-www-form-urlencoded").userAgent("Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1").ignoreContentType(true).method(Connection.Method.GET).referrer(url).execute();String body &＃61; doc.body();return body;}

以上只是个人使用的一次问题记录&＃xff0c;也可能是自己使用不对导致获取document对象内容错误。