当前位置: 开发笔记 > 编程语言 > 正文

通过HttpWebRequest获取百度搜索结果失败

作者：mobiledu2502917243 | 来源：互联网 | 2023-02-04 19:57

之前写的小工具是通过HttpWebRequest来获取百度搜索结果的，一直用得正常，最近突然用不了了。浏览器看到的结果和通过程序抓取出来的结果是不一样的。还没仔细看，有谁知道是什么情况吗？现在这个问题

之前写的小工具是通过HttpWebRequest来获取百度搜索结果的，一直用得正常，最近突然用不了了。浏览器看到的结果和通过程序抓取出来的结果是不一样的。还没仔细看，有谁知道是什么情况吗？现在这个问题怎么解决。

12 个解决方案

#1

页面返回的标签可能变了，或者别人用了防采集的办法了

#2

firebug看到的源代码内容，和抓取的内容不一样，抓取的都是一些Js代码

#3

中午有人来看看吗

#4

抓得太频烦了，被百度封IP了,需要验证码

#5

是不是post提交的那个串变了，抓包看看。楼上说的也有可能

#6

应该不是封IP，我平时只在公司操作，在家里运行程序也是一样不行。
请求的地址是http://www.baidu.com/#wd=site%3Awww.kt00.com&ie=utf-8，就是这个网站的收录情况和快照，懂seo的朋友可能知道site命令，就是这个site命令请求地址不行，domain命令正常的。

#7

大家可以自己看一下，直接查看源文件和用firebug查看的结果是不一样的

#8

以前是get方式直接显示,现在改变成ajax了.百度这几天每天在改变,,浏览器不同,内容显示的不同.

#9

抓包发现地址变了，使用抓包的地址可以正常抓取了。

#10

楼主能分享一下吗？刚好也碰到这问题~~

#11

引用 10 楼 nick_h2011 的回复:

楼主能分享一下吗？刚好也碰到这问题~~

下载个抓包工具，然后看下实际请求的地址，用这个地址就可以了

#12

1、COOKIE问题，baidu搜索结果也有千人千面技术。

推荐阅读

request
Sanic框架下的高性能异步Web开发

Sanic 是一个类似于 Flask 的 Python 3.5 Web 服务器，以其出色的写入速度而著称。与 Flask 不同，Sanic 支持异步请求处理，这使得它在处理高并发请求时表现更加出色。通过利用 Python 的异步特性，Sanic 能够显著提高应用程序的性能和响应能力，适用于构建高性能的异步 Web 应用。 ... [详细]

蜡笔小新 2024-11-03 20:15:02
php
网站访问全流程解析

本文详细介绍了从用户在浏览器中输入一个域名（如www.yy.com）到页面完全展示的整个过程，包括DNS解析、TCP连接、请求响应等多个步骤。 ... [详细]

蜡笔小新 2024-11-12 18:13:16
php
小程序的授权和登陆

小程序的授权和登陆 ... [详细]

蜡笔小新 2024-11-14 19:07:05
request
深入解析Django CBV模型的源码运行机制

本文详细探讨了Django CBV（Class-Based Views）模型的源码运行流程，通过具体的示例代码和详细的解释，帮助读者更好地理解和应用这一强大的功能。 ... [详细]

蜡笔小新 2024-11-14 12:36:32
match
HTTP header 介绍

HTTP(HyperTextTransferProtocol)是超文本传输协议的缩写，它用于传送www方式的数据。HTTP协议采用了请求响应模型。客服端向服务器发送一 ... [详细]

蜡笔小新 2024-11-14 09:13:00
php
PHP中函数名、常量名和变量名大小写转换及规范详解

在PHP编程中，初学者常常会遇到关于函数名、常量名和变量名大小写的问题。本文详细解析了PHP中这些名称的大小写敏感性及其命名规范，帮助开发者更好地理解和使用PHP。具体而言，文章探讨了PHP中的常量名是否区分大小写，自定义函数名的大小写敏感性，以及类名的大小写规则。此外，还提供了实用的代码示例和最佳实践，以确保代码的可读性和一致性。 ... [详细]

蜡笔小新 2024-11-05 12:17:58
php
Java与PHP中的超级全局变量、魔术变量及魔术函数详解

在PHP的设计中，预定义了9个超级全局变量、8个魔术变量和13个魔术函数，这些变量和函数无需声明即可在脚本的任意位置使用。这些特性在PHP开发中极为常见，能够显著提升开发效率和代码的灵活性。相比之下，Java并没有类似的内置机制，但通过其他方式如上下文对象和反射机制，也可以实现类似的功能。本文将详细探讨这两种语言中这些特殊变量和函数的使用方法及其应用场景。 ... [详细]

蜡笔小新 2024-11-03 19:12:51
java
深入解析HttpClient的使用方法与技巧

HTTP协议作为互联网通信的基础，其重要性不言而喻。相比JDK自带的URLConnection，HttpClient不仅提升了易用性和灵活性，还在性能、稳定性和安全性方面进行了显著优化。本文将深入解析HttpClient的使用方法与技巧，帮助开发者更好地掌握这一强大的工具。 ... [详细]

蜡笔小新 2024-10-30 14:48:47
list
使用Python爬取妙笔阁小说信息并保存为TXT和CSV格式

本文介绍了如何使用Python爬取妙笔阁小说网仙侠系列中所有小说的信息，并将其保存为TXT和CSV格式。主要内容包括如何构造请求头以避免被网站封禁，以及如何利用XPath解析HTML并提取所需信息。 ... [详细]

蜡笔小新 2024-11-14 19:54:58
match
python模块之正则

re模块可以读懂你写的正则表达式根据你写的表达式去执行任务用re去操作正则正则表达式使用一些规则来检测一些字符串是否符合个人要求，从一段字符串中找到符合要求的内容。在 ... [详细]

蜡笔小新 2024-11-14 15:52:38
java
Spring Boot 中配置全局文件上传路径并实现文件上传功能

本文介绍如何在 Spring Boot 项目中配置全局文件上传路径，并通过读取配置项实现文件上传功能。通过这种方式，可以更好地管理和维护文件路径。 ... [详细]

蜡笔小新 2024-11-13 11:19:38
split
在范围[0..n-1]中产生m个不同的随机数 - Generating m distinct random numbers in the range [0..n-1]

Ihavetwomethodsofgeneratingmdistinctrandomnumbersintherange[0..n-1]我有两种方法在范围[0.n-1]中生 ... [详细]

蜡笔小新 2024-11-13 09:49:14
php
解决Bootstrap DataTable Ajax请求重复问题

在最近的一个项目中，我们使用了JQuery DataTable进行数据展示，虽然使用起来非常方便，但在测试过程中发现了一个问题：当查询条件改变时，有时查询结果的数据不正确。通过FireBug调试发现，点击搜索按钮时，会发送两次Ajax请求，一次是原条件的请求，一次是新条件的请求。 ... [详细]

蜡笔小新 2024-11-12 13:59:27
byte
JavaWeb文件上传：前端实现与后端处理详解

在JavaWeb开发中，文件上传是一个常见的需求。无论是通过表单还是其他方式上传文件，都必须使用POST请求。前端部分通常采用HTML表单来实现文件选择和提交功能。后端则利用Apache Commons FileUpload库来处理上传的文件，该库提供了强大的文件解析和存储能力，能够高效地处理各种文件类型。此外，为了提高系统的安全性和稳定性，还需要对上传文件的大小、格式等进行严格的校验和限制。 ... [详细]

蜡笔小新 2024-11-11 19:50:46
byte
大类|电阻器_使用Requests、Etree、BeautifulSoup、Pandas和Path库进行数据抓取与处理 | 将指定区域内容保存为HTML和Excel格式

大类|电阻器_使用Requests、Etree、BeautifulSoup、Pandas和Path库进行数据抓取与处理 | 将指定区域内容保存为HTML和Excel格式 ... [详细]

蜡笔小新 2024-11-11 19:05:59

mobiledu2502917243

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章