当客户端向服务器发起请求的时候,每个ip被统计一次,上图的三个客户端指的是三个不同的ip地址。并且在某段时间内,同以ip访问同一篇文章,只能算是一次访问量。同一ip在某个时间段内访问同一博客不同的文章,被访问到的文章次数+1。知道上诉简单的原理之后,接下来就想解决的办法了。
- jsoup-1.8.1.jar
接下来写一个封装ip类的java bean,其实不写bean也可以,直接放在String[]数组里面也是ok的,不过这样做的时候,代理调用的时候方便取出。
public class MyIp {
private String address;
private String port;
public String getAddress() {
return address;
}
public void setAddress(String address) {
this.address = address;
}
public String getPort() {
return port;
}
public void setPort(String port) {
this.port = port;
}
}
现在主要用到的调用这个接口的工具是:jsoup,这个哥们我推荐看我的博客http://blog.csdn.net/zhang5476499/article/details/52205150。当然你也可以用httpClient等工具把网页的内容拿下来。用java 代码实现如下:
public static List getIp(String url) {
List ipList = null;
try {
//1.向ip代理地址发起get请求,拿到代理的ip
Document doc = Jsoup.connect(url)
.userAgent("Mozilla")
.COOKIE("auth", "token")
.timeout(3000)
.get();
//2,将得到的ip地址解析除字符串
String ipStr = doc.body().text().trim().toString();
//3.用正则表达式去切割所有的ip
String[] ips = ipStr.split("\\s+");
//4.循环遍历得到的ip字符串,封装成MyIp的bean
ipList = new ArrayList();
for(final String ip : ips) {
MyIp myIp = new MyIp();
String[] temp = ip.split(":");
myIp.setAddress(temp[0].trim());
myIp.setPort(temp[1].trim());
ipList.add(myIp);
}
} catch (IOException e) {
System.out.println("加载文档出粗");
}
return ipList;
}
这里需要注意的是,api调用这个页面的 时候,使用的是get请求。好了,假设已经拿到了api给的100个代理的ip,那么,我们就可以设置代理了,设置代理的主要代码如下:
System.setProperty("http.maxRedirects", "50");
System.getProperties().setProperty("proxySet", "true");
System.getProperties().setProperty("http.proxyHost", myIp.getAddress());
System.getProperties().setProperty("http.proxyPort", myIp.getPort());
下一步的工作是:循环这些拿到的代理ip,每设置一次代理,向博客地址发一次请求。
1 public static void main(String[] args) {
2 //1.想http代理地址api发起请求,获得想要的代理ip地址
3 String url = "http://api.xicidaili.com/free2016.txt";
4 List ipList = getIp(url);
5 String blogUrl = "";
6 Scanner sc = new Scanner(System.in);
7
8 System.out.print("请输入");
9 blogUrl = sc.nextLine();
10 System.out.print("请输入轮番刷新的倍数(x100):");
11 int time = sc.nextInt();
12 int count = 0;
13
14 for(int i = 0; i
代理写到这差不多就结束了,其实刷流量也不需要多高深的技术,本文只是一个引子,希望能够祈祷抛砖引玉的作用。相关代码地址:http://download.csdn.net/detail/zhang5476499/9687448
--2016.11.27 14:08:30