Python如何解析网页源码里没有的，但在审查元素的Elements里有的<table>的<tr>

当前位置: 开发笔记 > 编程语言 > 正文

Python如何解析网页源码里没有的，但在审查元素的Elements里有的的

作者：-____Ddddear_534 | 来源：互联网 | 2023-05-17 13:25

如何获取论坛http:bbs.byr.cn#!boardJobInfo列表里面的各个帖子的名字，链接，发表时间？源码里面看不到这个<table>，在chrome的审查元素里面

如何获取论坛 http://bbs.byr.cn/#!board/JobInfo列表里面的各个帖子的名字，链接，发表时间？
源码里面看不到这个

，在chrome的审查元素里面的Elements里面有，不知道怎么抓取这些内容，求教？
需要了解哪些东西，使用什么工具？

8 个解决方案

#1

Request URL:http://bbs.byr.cn/board/JobInfo?_uid=guest

首先分析请求在哪里

#2

@人傻且呆但不萌表格是由是由js生成的，不知道如何获取表格里面的内容

#3

引用 2 楼 xiaoxu1148 的回复:

@人傻且呆但不萌表格是由是由js生成的，不知道如何获取表格里面的内容

明明是get请求出来的数据你要说是js生成的

#4

@人傻且呆但不萌额不好意思，这方面我完全不懂。get好像拿不到帖子的标题、时间等内容。表格内容好像是JS生成的，我用PhantomJS拿到了表格里面的内容，不过还不怎么了解原理。请多多指教相关的基础知识及技术。
非常感谢您的回复

#5

get 请求就是在本来的网站后面添加几个参数就可以跳另外一个链接
比如你要爬的那个网页，点进去每个帖子，你看看那个网站地址的变化就知道了，比如下面这个：

看到这里你就知道怎么做了吧？循环后面的参数变化，在打开的每个网页中找到对应的标题跟内容就行了

#6

安装firebug

#7

这个情况我也遇到过~~
我使用的 from selenium import webdriver 模拟浏览器



browser = webdriver.Chrome(executable_path=chrome_path)

browser.get(url) #这个就是chrome浏览器中的element的内容了

browser.find_elements_by_tag_name('td') #获取element中 td下的内容

#8

引用 7 楼 kongpahuixiao 的回复:

这个情况我也遇到过~~
我使用的 from selenium import webdriver 模拟浏览器
browser = webdriver.Chrome(executable_path=chrome_path)

browser.get(url) #这个就是chrome浏览器中的element的内容了

browser.find_elements_by_tag_name('td') #获取element中 td下的内容

这个我搞了半天装不下来firefox driver。我python3.5，请问为什么啊？

推荐阅读

less
利用Selenium与ChromeDriver实现豆瓣网页全屏截图

本文介绍了一种使用Selenium和ChromeDriver结合Python代码，轻松实现对豆瓣网站进行完整页面截图的方法。该方法不仅简单易行，而且解决了新版Selenium不再支持PhantomJS的问题。 ... [详细]

蜡笔小新 2024-12-22 15:17:55
python
Python 爬虫基础教程及代码实例

根据最新发布的《互联网人才趋势报告》，尽管大量IT从业者已转向Python开发，但随着人工智能和大数据领域的迅猛发展，仍存在巨大的人才缺口。本文将详细介绍如何使用Python编写一个简单的爬虫程序，并提供完整的代码示例。 ... [详细]

蜡笔小新 2024-12-26 10:42:40
python
技术分享：从动态网站提取站点密钥的解决方案

本文探讨了如何从动态网站中提取站点密钥，特别是针对验证码（reCAPTCHA）的处理方法。通过结合Selenium和requests库，提供了详细的代码示例和优化建议。 ... [详细]

蜡笔小新 2024-12-28 04:11:47
python
Python技巧：利用Cookie实现自动登录绕过验证码

本文详细介绍了如何通过Python和Selenium库利用浏览器Cookie实现自动登录，从而绕过验证码验证。文章提供了具体的操作步骤，并附有代码示例，帮助读者理解和实践。 ... [详细]

蜡笔小新 2024-12-21 15:24:54
python
Python自动化测试入门：Selenium环境搭建

本文详细介绍如何在Python环境中安装和配置Selenium，包括开发工具PyCharm的安装、Python环境的设置以及Selenium包的安装方法。此外，还提供了编写和运行第一个自动化测试脚本的步骤。 ... [详细]

蜡笔小新 2024-12-21 10:48:56
less
深入理解Tornado模板系统

本文详细介绍了Tornado框架中模板系统的使用方法。Tornado自带的轻量级、高效且灵活的模板语言位于tornado.template模块，支持嵌入Python代码片段，帮助开发者快速构建动态网页。 ... [详细]

蜡笔小新 2024-12-27 19:22:16
filter
Python爬虫实战：豆瓣电影Top250数据抓取

本文详细介绍了如何使用Python编写爬虫程序，从豆瓣电影Top250页面抓取电影信息。文章涵盖了从基础的网页请求到处理反爬虫机制，再到多页数据抓取的全过程，并提供了完整的代码示例。 ... [详细]

蜡笔小新 2024-12-27 16:55:07
python
解决无法从selenium导入webdriver的错误

在学习网页爬虫时，使用Selenium进行自动化操作。初次安装selenium模块后，第二天运行代码时遇到了ImportError：无法从'selenium'导入名称'webdriver'。本文将详细解释该问题的原因及解决方案。 ... [详细]

蜡笔小新 2024-12-25 08:55:45
byte
使用Python urllib模块实现POST请求并爬取百度翻译结果

本文详细解析了如何使用Python的urllib模块发起POST请求，并通过实例展示如何爬取百度翻译的翻译结果。 ... [详细]

蜡笔小新 2024-12-24 18:49:24
get
解决Selenium浏览器实例化位置导致的闪退问题

本文探讨了在使用Selenium进行自动化测试时，由于webdriver对象实例化位置不同而导致浏览器闪退的问题，并提供了详细的代码示例和解决方案。 ... [详细]

蜡笔小新 2024-12-23 16:09:49
get
并发编程 12—— 任务取消与关闭之 shutdownNow 的局限性

Java并发编程实践目录并发编程01——ThreadLocal并发编程02——ConcurrentHashMap并发编程03——阻塞队列和生产者-消费者模式并发编程04——闭锁Co ... [详细]

蜡笔小新 2024-12-21 12:39:07
get
CSS选择器与XPath在Selenium中的元素定位对比

本文详细比较了CSS选择器和XPath在Selenium中通过页面结构定位元素的优劣，并提供了具体的代码示例，帮助读者理解两者在不同场景下的适用性。 ... [详细]

蜡笔小新 2024-12-21 08:56:18
python
Python 的 10 个开发技巧！太实用了

1.如何在运行状态查看源代码？查看函数的源代码，我们通常会使用IDE来完成。比如在PyCharm中，你可以Ctrl+鼠标点击进入函数的源代码。那如果没有IDE呢？当我们想使用一个函 ... [详细]

蜡笔小新 2024-12-27 18:36:54
python
在Ubuntu 16.04 LTS上配置Qt Creator开发环境

本文详细介绍了如何在Ubuntu 16.04 LTS系统中安装和配置Qt Creator，涵盖了从下载到安装的全过程，并提供了常见问题的解决方案。 ... [详细]

蜡笔小新 2024-12-27 13:19:53
python
使用Python在SAE上开发新浪微博应用的初步探索

最近重新审视了新浪云平台（SAE）提供的服务，发现其已支持Python开发。本文将详细介绍如何利用Django框架构建一个简单的新浪微博应用，并分享开发过程中的关键步骤。 ... [详细]

蜡笔小新 2024-12-26 13:36:52

-____Ddddear_534

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章