Python如何解析网页源码里没有的，但在审查元素的Elements里有的<table>的<tr>

当前位置: 开发笔记 > 编程语言 > 正文

Python如何解析网页源码里没有的，但在审查元素的Elements里有的的

作者：-____Ddddear_534 | 来源：互联网 | 2023-05-17 13:25

如何获取论坛http:bbs.byr.cn#!boardJobInfo列表里面的各个帖子的名字，链接，发表时间？源码里面看不到这个<table>，在chrome的审查元素里面

如何获取论坛 http://bbs.byr.cn/#!board/JobInfo列表里面的各个帖子的名字，链接，发表时间？
源码里面看不到这个

，在chrome的审查元素里面的Elements里面有，不知道怎么抓取这些内容，求教？
需要了解哪些东西，使用什么工具？

8 个解决方案

#1

Request URL:http://bbs.byr.cn/board/JobInfo?_uid=guest

首先分析请求在哪里

#2

@人傻且呆但不萌表格是由是由js生成的，不知道如何获取表格里面的内容

#3

引用 2 楼 xiaoxu1148 的回复:

@人傻且呆但不萌表格是由是由js生成的，不知道如何获取表格里面的内容

明明是get请求出来的数据你要说是js生成的

#4

@人傻且呆但不萌额不好意思，这方面我完全不懂。get好像拿不到帖子的标题、时间等内容。表格内容好像是JS生成的，我用PhantomJS拿到了表格里面的内容，不过还不怎么了解原理。请多多指教相关的基础知识及技术。
非常感谢您的回复

#5

get 请求就是在本来的网站后面添加几个参数就可以跳另外一个链接
比如你要爬的那个网页，点进去每个帖子，你看看那个网站地址的变化就知道了，比如下面这个：

看到这里你就知道怎么做了吧？循环后面的参数变化，在打开的每个网页中找到对应的标题跟内容就行了

#6

安装firebug

#7

这个情况我也遇到过~~
我使用的 from selenium import webdriver 模拟浏览器



browser = webdriver.Chrome(executable_path=chrome_path)

browser.get(url) #这个就是chrome浏览器中的element的内容了

browser.find_elements_by_tag_name('td') #获取element中 td下的内容

#8

引用 7 楼 kongpahuixiao 的回复:

这个情况我也遇到过~~
我使用的 from selenium import webdriver 模拟浏览器
browser = webdriver.Chrome(executable_path=chrome_path)

browser.get(url) #这个就是chrome浏览器中的element的内容了

browser.find_elements_by_tag_name('td') #获取element中 td下的内容

这个我搞了半天装不下来firefox driver。我python3.5，请问为什么啊？

推荐阅读

header
使用正则表达式爬取36Kr网站首页新闻的操作步骤和代码示例

本文介绍了使用正则表达式来爬取36Kr网站首页所有新闻的操作步骤和代码示例。通过访问网站、查找关键词、编写代码等步骤，可以获取到网站首页的新闻数据。代码示例使用Python编写，并使用正则表达式来提取所需的数据。详细的操作步骤和代码示例可以参考本文内容。 ... [详细]

蜡笔小新 2023-12-12 19:16:21
java
javascript – 概述在Firefox上无法正常工作

我试图提出一些自定义大纲,以达到一些Web可访问性建议.但我不能用Firefox制作.这就是它在Chrome上的外观：而那个图标实际上是一个锚点.在Firefox上,它只概述了整个 ... [详细]

蜡笔小新 2023-12-14 10:20:38
get
使用 Ubuntu 中的 Python 获取浏览器历史记录

使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]

蜡笔小新 2023-12-14 08:57:59
range
Python瓦片图下载、合并、绘图、标记的代码示例

本文提供了Python瓦片图下载、合并、绘图、标记的代码示例，包括下载代码、多线程下载、图像处理等功能。通过参考geoserver，使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法，供读者参考使用。 ... [详细]

蜡笔小新 2023-12-13 12:14:55
get
django视图函数的使用方法

本文介绍了django中视图函数的使用方法，包括如何接收Web请求并返回Web响应，以及如何处理GET请求和POST请求。同时还介绍了urls.py和views.py文件的配置方式。 ... [详细]

蜡笔小新 2023-12-12 16:02:59
get
延迟注入工具（python）的SQL脚本

本文介绍了一个延迟注入工具（python）的SQL脚本，包括使用urllib2、time、socket、threading、requests等模块实现延迟注入的方法。该工具可以通过构造特定的URL来进行注入测试，并通过延迟时间来判断注入是否成功。 ... [详细]

蜡笔小新 2023-12-12 10:36:42
get
网络请求模块选择——axios框架的基本使用和封装

本文介绍了选择网络请求模块axios的原因，以及axios框架的基本使用和封装方法。包括发送并发请求的演示，全局配置的设置，创建axios实例的方法，拦截器的使用，以及如何封装和请求响应劫持等内容。 ... [详细]

蜡笔小新 2023-12-12 10:16:43
get
分享css中提升优先级属性!important的用法总结

web前端|css教程css!importantweb前端-css教程本文分享css中提升优先级属性!important的用法总结微信门店展示源码,vscode如何管理站点,ubu ... [详细]

蜡笔小新 2023-12-11 11:25:16
java
JavaScript简介及语言特点

本文介绍了JavaScript的起源和发展历程，以及其在前端验证和服务器端开发中的应用。同时，还介绍了ECMAScript标准、DOM对象和BOM对象的作用及特点。最后，对JavaScript作为解释型语言和编译型语言的区别进行了说明。 ... [详细]

蜡笔小新 2023-12-10 17:45:49
java
AJAX的POST请求及实现数据修改功能的方法

本文介绍了使用AJAX的POST请求实现数据修改功能的方法。通过ajax-post技术，可以实现在输入某个id后，通过ajax技术调用post.jsp修改具有该id记录的姓名的值。文章还提到了AJAX的概念和作用，以及使用async参数和open()方法的注意事项。同时强调了不推荐使用async=false的情况，并解释了JavaScript等待服务器响应的机制。 ... [详细]

蜡笔小新 2023-12-14 16:12:01
get
开发笔记:加密&json&StringIO模块&BytesIO模块

篇首语：本文由编程笔记#小编为大家整理，主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识，希望对你有一定的参考价值。一、加密加密 ... [详细]

蜡笔小新 2023-12-14 15:18:35
get
页面请求方法参数最长_关于 HTTP GET/POST 请求参数长度最大值的一个理解误区

http:my.oschina.netleejun2005blog136820刚看到群里又有同学在说HTTP协议下的Get请求参数长度是有大小限制的，最大不能超过XX ... [详细]

蜡笔小新 2023-12-13 19:20:03
get
在重复造轮子的情况下用ProxyServlet反向代理来减少工作量

像不少公司内部不同团队都会自己研发自己工具产品，当各个产品逐渐成熟，到达了一定的发展瓶颈，同时每个产品都有着自己的入口，用户 ... [详细]

蜡笔小新 2023-12-13 15:19:01
get
Spring常用注解（绝对经典），全靠这份Java知识点PDF大全

本文介绍了Spring常用注解和注入bean的注解，包括@Bean、@Autowired、@Inject等，同时提供了一个Java知识点PDF大全的资源链接。其中详细介绍了ColorFactoryBean的使用，以及@Autowired和@Inject的区别和用法。此外，还提到了@Required属性的配置和使用。 ... [详细]

蜡笔小新 2023-12-12 10:15:07
get
mui框架offcanvas侧滑超出部分隐藏无法滚动如何解决

web前端|js教程off-canvas,部分,超出web前端-js教程mui框架中off-canvas侧滑的一个缺点就是无法出现滚动条，因为它主要用途是设置类似于qq界面的那种格 ... [详细]

蜡笔小新 2023-10-17 20:40:03

-____Ddddear_534

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章