当前位置: 开发笔记 > 编程语言 > 正文

使用User-Agent防止HttpClient发送http请求时403Forbidden和安全拦截

作者：真个田_707 | 来源：互联网 | 2023-05-18 20:44

之前写过一个Java工具类–通过HttpClient发送http请求最近在访问一个接口的时候被拒绝了。具体信息如下我们用程序访问我的csdn博客地址解决方案就是在httpclient发

之前写过一个Java工具类–通过HttpClient发送http请求

最近在访问一个接口的时候被拒绝了。具体信息如下

这里写图片描述

我们用程序访问我的csdn博客地址

这里写图片描述

解决方案就是在httpclient发出请求的时候在Header中设置一个User-Agent

HTTP响应头和请求头信息对照表

具体如下

    String userAgent = "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36";
    HttpGet httpGet = new HttpGet(url);
    httpGet.setHeader("User-Agent",userAgent);
    response = httpclient.execute(httpGet);

我电脑的谷歌浏览器User-Agent

这里写图片描述

加上User-Agent之后访问我的博客地址

这里写图片描述

完整的代码

HttpUtil.java

package com.jrbac.util;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import org.apache.http.Consts;
import org.apache.http.HttpEntity;
import org.apache.http.NameValuePair;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.StringEntity;
import org.apache.http.entity.mime.HttpMultipartMode;
import org.apache.http.entity.mime.MultipartEntityBuilder;
import org.apache.http.entity.mime.content.FileBody;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Http工具类，发送Http请求， Get请求请将参数放在url中 Post请求请将参数放在Map中
 * 
 * @author 程高伟
 * @date 2017年1月5日 下午6:03:50
 */
public class HttpUtil {
    private static final Logger log = LoggerFactory.getLogger(HttpUtil.class);
    private static final CloseableHttpClient httpclient = HttpClients.createDefault();
    private static final String userAgent = "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36";

    /**
 * 发送HttpGet请求
 * 
 * @param url
 * 请求地址
 * @return 返回字符串
 */
    public static String sendGet(String url) {
        String result = null;
        CloseableHttpResponse respOnse= null;
        try {
            HttpGet httpGet = new HttpGet(url);
            httpGet.setHeader("User-Agent", userAgent);
            respOnse= httpclient.execute(httpGet);
            HttpEntity entity = response.getEntity();
            if (entity != null) {
                result = EntityUtils.toString(entity);
            }
        } catch (Exception e) {
            log.error("处理失败 {}" + e);
            e.printStackTrace();
        } finally {
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }

    /**
 * 发送HttpPost请求，参数为map
 * 
 * @param url
 * 请求地址
 * @param map
 * 请求参数
 * @return 返回字符串
 */
    public static String sendPost(String url, Map map) {
        // 设置参数
        List formparams = new ArrayList();
        for (Map.Entry entry : map.entrySet()) {
            formparams.add(new BasicNameValuePair(entry.getKey(), entry.getValue()));
        }
        // 编码
        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(formparams, Consts.UTF_8);
        // 取得HttpPost对象
        HttpPost httpPost = new HttpPost(url);
        // 防止被当成攻击添加的
        httpPost.setHeader("User-Agent", userAgent);
        // 参数放入Entity
        httpPost.setEntity(formEntity);
        CloseableHttpResponse respOnse= null;
        String result = null;
        try {
            // 执行post请求
            respOnse= httpclient.execute(httpPost);
            // 得到entity
            HttpEntity entity = response.getEntity();
            // 得到字符串
            result = EntityUtils.toString(entity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }

    /**
 * 发送HttpPost请求，参数为文件，适用于微信上传素材
 * 
 * @param url
 * 请求地址
 * @param file
 * 上传的文件
 * @return 返回字符串
 * @throws IOException
 * @throws ClientProtocolException
 */
    public static String sendPost(String url, File file) {
        String result = null;
        HttpPost httpPost = new HttpPost(url);
        // 防止被当成攻击添加的
        httpPost.setHeader("User-Agent", userAgent);
        MultipartEntityBuilder multipartEntity = MultipartEntityBuilder.create();
        multipartEntity.setMode(HttpMultipartMode.BROWSER_COMPATIBLE);
        multipartEntity.addPart("media", new FileBody(file));
        httpPost.setEntity(multipartEntity.build());
        CloseableHttpResponse respOnse= null;
        try {
            respOnse= httpclient.execute(httpPost);
            HttpEntity entity = response.getEntity();
            result = EntityUtils.toString(entity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            // 关闭CloseableHttpResponse
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;

    }

    /**
 * 发送HttpPost请求，参数为json字符串
 * 
 * @param url
 * @param jsonStr
 * @return
 */
    public static String sendPost(String url, String jsonStr) {
        String result = null;
        // 字符串编码
        StringEntity entity = new StringEntity(jsonStr, Consts.UTF_8);
        // 设置content-type
        entity.setContentType("application/json");
        HttpPost httpPost = new HttpPost(url);
        // 防止被当成攻击添加的
        httpPost.setHeader("User-Agent", userAgent);
        httpPost.setEntity(entity);
        CloseableHttpResponse respOnse= null;
        try {
            respOnse= httpclient.execute(httpPost);
            HttpEntity httpEntity = response.getEntity();
            result = EntityUtils.toString(httpEntity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            // 关闭CloseableHttpResponse
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }

    /**
 * 发送不带参数的HttpPost请求
 * 
 * @param url
 * @return
 */
    public static String sendPost(String url) {
        String result = null;
        // 得到一个HttpPost对象
        HttpPost httpPost = new HttpPost(url);
        // 防止被当成攻击添加的
        httpPost.setHeader("User-Agent", userAgent);
        CloseableHttpResponse respOnse= null;
        try {
            // 执行HttpPost请求，并得到一个CloseableHttpResponse
            respOnse= httpclient.execute(httpPost);
            // 从CloseableHttpResponse中拿到HttpEntity
            HttpEntity entity = response.getEntity();
            // 将HttpEntity转换为字符串
            result = EntityUtils.toString(entity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            // 关闭CloseableHttpResponse
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }
}

参考文献

HTTP响应头和请求头信息对照表

推荐阅读

ip
利用Requests库深入解析POST请求的发送方法与实践技巧

在前一篇文章中，我们介绍了如何使用Requests库发送GET请求。本文将深入探讨如何通过Requests库发送POST请求，包括参数格式、请求封装等关键技巧，并通过“历史上的今天”API实例进行详细说明。 ... [详细]

蜡笔小新 2024-10-27 15:02:24
range
使用Python爬取妙笔阁小说信息并保存为TXT和CSV格式

本文介绍了如何使用Python爬取妙笔阁小说网仙侠系列中所有小说的信息，并将其保存为TXT和CSV格式。主要内容包括如何构造请求头以避免被网站封禁，以及如何利用XPath解析HTML并提取所需信息。 ... [详细]

蜡笔小新 2024-11-14 19:54:58
range
可转债数据智能抓取与分析平台优化

本项目旨在优化可转债数据的智能抓取与分析平台。通过爬取集思录上的可转债信息（排除已发布赎回的债券），并结合安道全教授提出的三条安全线投资策略，新增了建仓线、加仓线和重仓线，以提供更精准的投资建议。 ... [详细]

蜡笔小新 2024-10-30 17:40:17
export
使用 Vue 集成 iScroll 实现移动端表格横向滚动与固定列功能

使用 Vue 集成 iScroll 实现移动端表格横向滚动与固定列功能 ... [详细]

蜡笔小新 2024-10-26 12:04:20
range
深入解析Keras中的ImageDataGenerator参数

本文详细探讨了Keras库中ImageDataGenerator类的各项参数及其功能，旨在帮助读者更好地理解和应用数据增强技术，提高模型训练效果。 ... [详细]

蜡笔小新 2024-11-28 16:05:18
install
多项目环境下的代码复用策略

在前端开发中，面对多个并行项目的场景，如何有效地实现代码复用成为了一个重要的议题。本文将探讨一种利用npm包管理来实现跨项目组件共享的方法。 ... [详细]

蜡笔小新 2024-11-28 10:24:41
ip
拖拉切割直线

拖拉切割直线 ... [详细]

蜡笔小新 2024-11-27 19:20:38
go
Python中调用Java代码的方法与实践

本文探讨了如何在Python环境中集成并调用Java代码，通过具体的步骤和示例展示了这一过程的技术细节。适合对跨语言编程感兴趣的开发者阅读。 ... [详细]

蜡笔小新 2024-11-27 17:54:57
export
理解Redux中的中间件及其应用

在React应用中，Redux的中间件用于增强store的功能，通过拦截和处理action，可以在action到达reducer之前进行额外的操作，如异步操作、日志记录等。 ... [详细]

蜡笔小新 2024-11-27 17:22:50
int
Python3爬虫实战：突破网站反爬虫机制的方法

本文详细探讨了使用Python3编写爬虫时如何应对网站的反爬虫机制，通过实例讲解了如何模拟浏览器访问，帮助读者更好地理解和应用相关技术。 ... [详细]

蜡笔小新 2024-11-14 19:48:54
version
如何在PHP中计算腾讯云接口签名，实现人脸核身接口的对接与签名配置

在PHP中实现腾讯云接口签名，以完成人脸核身功能的对接与签名配置时，需要注意将文档中的POST请求改为GET请求。具体步骤包括：使用你的`secretKey`生成签名字符串`$srcStr`，格式为`GET faceid.tencentcloudapi.com?`，确保参数正确拼接，避免因请求方法错误导致的签名问题。此外，还需关注API的其他参数要求，确保请求的完整性和安全性。 ... [详细]

蜡笔小新 2024-11-08 21:58:28
int
利用Python高效抓取微博文本与动态网页图像数据

本文介绍了使用 Python 编程语言高效抓取微博文本和动态网页图像数据的方法。通过详细的示例代码，展示了如何利用爬虫技术获取微博内容和动态图片，为数据采集和分析提供了实用的技术支持。对于对网络数据抓取感兴趣的读者，本文具有较高的参考价值。 ... [详细]

蜡笔小新 2024-10-31 14:48:38
int
【Python爬虫实操】不创作小说，专精网站内容迁移，超高效！（含源代码）

本文详细介绍了如何利用Python爬虫技术实现高效网站内容迁移，涵盖前端、后端及Android相关知识点。通过具体实例和源代码，展示了如何精准抓取并迁移网站内容，适合对Python爬虫实战感兴趣的开发者参考。 ... [详细]

蜡笔小新 2024-10-28 20:00:28
ip
Flutter与Angular的对比分析

本文探讨了Flutter和Angular这两个流行框架的主要区别，包括它们的设计理念、适用场景及技术实现。 ... [详细]

蜡笔小新 2024-11-28 13:19:52
go
OpenCV—python 角点特征检测之一（cornerHarris、ShiTomasi、FAST）

OpenCV—python角点特征检测之一（cornerHarris、Shi-Tomasi、FAST）,Go语言社区,Golang程序员人脉社 ... [详细]

蜡笔小新 2024-11-28 12:13:08

真个田_707

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章

使用User-Agent防止HttpClient发送http请求时403Forbidden和安全拦截

参考文献 HTTP响应头和请求头信息对照表 var cpro_id = "u6885494";

参考文献

HTTP响应头和请求头信息对照表