python 搜寻蓝牙
假设您要从网站下载所有高质量的Super Nintendo ROM。 该站点仅具有将您带到文件本身的链接列表。 由于这是一棵扁平树&＃xff0c;因此可以使用URL ala运行基本的wget命令&＃xff1a;
wget -m -np -c -w 3 -R"index.html*" "https://rom-site.blah/path/to/roms/"
但是&＃xff0c;这将为您提供每场比赛&＃xff0c;无论质量如何。 幸运的是&＃xff0c;ROM发烧友使用后缀来表示rom的状态&＃xff1a;
[a] Alternate
[p] Pirate
[b] Bad Dump (avoid these, they may not work!)
[t] Trained
[f] Fixed
[T-] OldTranslation
[T&＃43;] NewerTranslation
[h] Hack
(-) Unknown Year
[o] Overdump
[!] Verified Good Dump
(M#) Multilanguage (# of Languages)
( ###) Checksum
(??k) ROM Size
ZZZ_ Unclassified
(Unl) Unlicensed
因此&＃xff0c;我们只想要带有[&＃xff01;]后缀的代码。 您可能还希望 仅针对美国发行版 指定 [U] 。
当然可以使用正则表达式将其指定为wget &＃xff0c;但是我绝对不是wget或regex pro&＃xff0c;因此&＃xff0c;在尝试了几分钟后&＃xff0c;我放弃并编写了一个简短的Python脚本来获取想要使用的内容美丽的汤
在编写任何代码之前&＃xff0c;我分析了目标URL的来源&＃xff0c;并且
可以肯定的是&＃xff0c;该页面几乎只是一个锚定标记列表&＃xff0c;
直接链接到ROM文件。 完善。
窥视html &＃xff0c;我知道我只需要从所有锚点中提取链接&＃xff0c;但只收集包含[&＃xff01;]后缀的链接即可。 这可以在不到15行的Python中完成&＃xff1a;
首先&＃xff0c;安装beautifulsoup4&＃xff1a;
pip3 install beautfilsoup4
然后使用以下代码创建一个名为good_roms.py的文件&＃xff1a;
# good_roms.py
import requests
from bs4 import BeautifulSoupweburl &＃61; &＃39;https://site.site/path/to/roms/&＃39;
data &＃61; requests.get(weburl)
soup &＃61; BeautifulSoup(data.text, features&＃61; &＃39;html.parser&＃39; )links &＃61; []
for anch in soup.find_all( &＃39;a&＃39; ):if &＃39;[!]&＃39; in str(anch):links.append(weburl &＃43; anch.get( &＃39;href&＃39; ))for link in links:print(link)
现在&＃xff0c;我可以运行程序并将输出重定向到文本文件&＃xff1a;
python3 good_roms.py > rom-list.txt
现在&＃xff0c;我有了一个包含所有好的ROM的URL的文本文件&＃xff0c;我可以将该文件直接提供给wget &＃xff0c;它将使用-i输入文件开关仅下载好的文件&＃xff1a;
而已&＃xff01; 确保您有足够的空间容纳所有rom&＃xff0c;并观看它们一次堆积一堆&＃xff1a;
--2019-01-25 21:27:02-- https://rom-site.blah/path/to/roms/YourFavoriteRom[!].bin
Reusing existing connection to [rom-site.blah]:443.
HTTP request sent, awaiting response... 200 OK
Length: 2097152 (2.0M) [application/octet-stream]
Saving to: ‘YourFavoriteRom[!].bin’YourFavoriteRom[!].bin 100%[&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;>] 2.00M 513KB/sin 3.9s 2019-01-25 21:27:09 (513 KB/s) - ‘YourFavoriteRom[!].bin’ saved [2097152/2097152]FINISHED --2019-01-25 21:29:41--
Total wall clock time: 38m 47s
Downloaded: 693 files, 888M in 30m 38s (495 KB/s)
翻译自: https://hackernoon.com/scraping-a-website-for-high-quality-roms-using-python-2x21t28ey
python 搜寻蓝牙
京公网安备 11010802041100号