教你用python爬取w3shcool的课程并且保存到本地的代码实例

最近在忙于找工作，闲暇之余，也找点爬虫项目练练手，写写代码，知道自己是个菜鸟，但是要多加练习，书山有路勤为径。各位爷有测试坑可以给我介绍个啊，自动化，功能，接口都可以做。

首先呢，我们明确需求，很多同学呢，有事没事就想看看一些技术，比如我想看看JQuery的语法呢，可是我现在没有网络，手机上也没有电子书，真的让我们很难受，那么别着急啊，你这需求我在这里满足你，首先呢，你的需求是获取JQuery的语法的，那么我在看到这个需求，我有响应的网站那么我们接下来去分析这个网站。www.w3school.com.cn/jquery/jquery_syntax.asp 这是语法url， http://www.w3school.com.cn/jquery/jquery_intro.asp 这是简介的url，那么我们拿到很多的url分析到，我们的www.w3school.com.cn/jquery是相同的，那么我们在来分析在界面怎么可以获取得到这些，我们可以看到右面有相应的目标栏，那么我们去分析下

我们来看下这些链接，。我们可以吧这些链接和http://www.w3school.com.cn拼接到一起。然后组成我们新的url，

上代码

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&＃39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&＃39;gb2312&＃39;)
 return html
def url_s():
 url=&＃39;http://www.w3school.com.cn/jquery/index.asp&＃39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&＃39;course&＃39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&＃39;a&＃39;)
  for i in m:
   m_url.append(i.get(&＃39;href&＃39;))
 for i in m_url_text:
  h=i.encode(&＃39;utf-8&＃39;).decode(&＃39;utf-8&＃39;)
  m_url_text=h.split(&＃39;\n&＃39;)
 return m_url,m_url_text

这样我们使用url_s这个函数就可以获取我们所有的链接。

[&＃39;/jquery/index.asp&＃39;, &＃39;/jquery/jquery_intro.asp&＃39;, &＃39;/jquery/jquery_install.asp&＃39;, &＃39;/jquery/jquery_syntax.asp&＃39;, &＃39;/jquery/jquery_selectors.asp&＃39;, &＃39;/jquery/jquery_events.asp&＃39;, &＃39;/jquery/jquery_hide_show.asp&＃39;, &＃39;/jquery/jquery_fade.asp&＃39;, &＃39;/jquery/jquery_slide.asp&＃39;, &＃39;/jquery/jquery_animate.asp&＃39;, &＃39;/jquery/jquery_stop.asp&＃39;, &＃39;/jquery/jquery_callback.asp&＃39;, &＃39;/jquery/jquery_chaining.asp&＃39;, &＃39;/jquery/jquery_dom_get.asp&＃39;, &＃39;/jquery/jquery_dom_set.asp&＃39;, &＃39;/jquery/jquery_dom_add.asp&＃39;, &＃39;/jquery/jquery_dom_remove.asp&＃39;, &＃39;/jquery/jquery_css_classes.asp&＃39;, &＃39;/jquery/jquery_css.asp&＃39;, &＃39;/jquery/jquery_dimensions.asp&＃39;, &＃39;/jquery/jquery_traversing.asp&＃39;, &＃39;/jquery/jquery_traversing_ancestors.asp&＃39;, &＃39;/jquery/jquery_traversing_descendants.asp&＃39;, &＃39;/jquery/jquery_traversing_siblings.asp&＃39;, &＃39;/jquery/jquery_traversing_filtering.asp&＃39;, &＃39;/jquery/jquery_ajax_intro.asp&＃39;, &＃39;/jquery/jquery_ajax_load.asp&＃39;, &＃39;/jquery/jquery_ajax_get_post.asp&＃39;, &＃39;/jquery/jquery_noconflict.asp&＃39;, &＃39;/jquery/jquery_examples.asp&＃39;, &＃39;/jquery/jquery_quiz.asp&＃39;, &＃39;/jquery/jquery_reference.asp&＃39;, &＃39;/jquery/jquery_ref_selectors.asp&＃39;, &＃39;/jquery/jquery_ref_events.asp&＃39;, &＃39;/jquery/jquery_ref_effects.asp&＃39;, &＃39;/jquery/jquery_ref_manipulation.asp&＃39;, &＃39;/jquery/jquery_ref_attributes.asp&＃39;, &＃39;/jquery/jquery_ref_css.asp&＃39;, &＃39;/jquery/jquery_ref_ajax.asp&＃39;, &＃39;/jquery/jquery_ref_traversing.asp&＃39;, &＃39;/jquery/jquery_ref_data.asp&＃39;, &＃39;/jquery/jquery_ref_dom_element_methods.asp&＃39;, &＃39;/jquery/jquery_ref_core.asp&＃39;, &＃39;/jquery/jquery_ref_prop.asp&＃39;], [&＃39;jQuery 教程&＃39;, &＃39;&＃39;, &＃39;jQuery 教程&＃39;, &＃39;jQuery 简介&＃39;, &＃39;jQuery 安装&＃39;, &＃39;jQuery 语法&＃39;, &＃39;jQuery 选择器&＃39;, &＃39;jQuery 事件&＃39;, &＃39;&＃39;, &＃39;jQuery 效果&＃39;, &＃39;&＃39;, &＃39;jQuery 隐藏/显示&＃39;, &＃39;jQuery 淡入淡出&＃39;, &＃39;jQuery 滑动&＃39;, &＃39;jQuery 动画&＃39;, &＃39;jQuery stop()&＃39;, &＃39;jQuery Callback&＃39;, &＃39;jQuery Chaining&＃39;, &＃39;&＃39;, &＃39;jQuery HTML&＃39;, &＃39;&＃39;, &＃39;jQuery 获取&＃39;, &＃39;jQuery 设置&＃39;, &＃39;jQuery 添加&＃39;, &＃39;jQuery 删除&＃39;, &＃39;jQuery CSS 类&＃39;, &＃39;jQuery css()&＃39;, &＃39;jQuery 尺寸&＃39;, &＃39;&＃39;, &＃39;jQuery 遍历&＃39;, &＃39;&＃39;, &＃39;jQuery 遍历&＃39;, &＃39;jQuery 祖先&＃39;, &＃39;jQuery 后代&＃39;, &＃39;jQuery 同胞&＃39;, &＃39;jQuery 过滤&＃39;, &＃39;&＃39;, &＃39;jQuery AJAX&＃39;, &＃39;&＃39;, &＃39;jQuery AJAX 简介&＃39;, &＃39;jQuery 加载&＃39;, &＃39;jQuery Get/Post&＃39;, &＃39;&＃39;, &＃39;jQuery 杂项&＃39;, &＃39;&＃39;, &＃39;jQuery noConflict()&＃39;, &＃39;&＃39;, &＃39;jQuery 实例&＃39;, &＃39;&＃39;, &＃39;jQuery 实例&＃39;, &＃39;jQuery 测验&＃39;, &＃39;&＃39;, &＃39;jQuery 参考手册&＃39;, &＃39;&＃39;, &＃39;jQuery 参考手册&＃39;, &＃39;jQuery 选择器&＃39;, &＃39;jQuery 事件&＃39;, &＃39;jQuery 效果&＃39;, &＃39;jQuery 文档操作&＃39;, &＃39;jQuery 属性操作&＃39;, &＃39;jQuery CSS 操作&＃39;, &＃39;jQuery Ajax&＃39;, &＃39;jQuery 遍历&＃39;, &＃39;jQuery 数据&＃39;, &＃39;jQuery DOM 元素&＃39;, &＃39;jQuery 核心&＃39;, &＃39;jQuery 属性&＃39;, &＃39;&＃39;, &＃39;&＃39;])

这是所有链接还有对应链接的所对应的语法模块的名字。那么我们接下来就是去拼接urls，使用的是str的拼接

 [&＃39;http://www.w3school.com.cn//jquery/index.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_intro.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_install.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_syntax.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_selectors.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_events.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_hide_show.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_fade.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_slide.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_animate.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_stop.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_callback.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_chaining.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_dom_get.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_dom_set.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_dom_add.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_dom_remove.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_css_classes.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_css.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_dimensions.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_traversing.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_traversing_ancestors.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_traversing_descendants.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_traversing_siblings.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_traversing_filtering.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ajax_intro.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ajax_load.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ajax_get_post.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_noconflict.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_examples.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_quiz.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_reference.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_selectors.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_events.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_effects.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_manipulation.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_attributes.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_css.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_ajax.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_traversing.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_data.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_dom_element_methods.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_core.asp&＃39;, &＃39;http://www.w3school.com.cn//jquery/jquery_ref_prop.asp&＃39;]

那么我们有这个所有的urls，那么我们来分析下，文章正文。

分析可以得到我们的所有的正文都是在一个id=maincontent中，那么我们直接解析每个界面中的id=maincontent的标签，获取响应的text文档，并且保存就好。

所以我们所有的代码如下：

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&＃39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&＃39;gb2312&＃39;)
 return html
def url_s():
 url=&＃39;http://www.w3school.com.cn/jquery/index.asp&＃39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&＃39;course&＃39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&＃39;a&＃39;)
  for i in m:
   m_url.append(i.get(&＃39;href&＃39;))
 for i in m_url_text:
  h=i.encode(&＃39;utf-8&＃39;).decode(&＃39;utf-8&＃39;)
  m_url_text=h.split(&＃39;\n&＃39;)
 return m_url,m_url_text
def xml():
 url,url_text=url_s()
 url_jque=[]
 for link in url:
  url_jque.append(&＃39;http://www.w3school.com.cn/&＃39;+link)
 return url_jque
def xiazai():
 urls=xml()
 i=0
 for url in urls:
  html=parse_url(url)
  soup=BeautifulSoup(html)
  me=soup.find_all(id=&＃39;maincontent&＃39;)
  with open(r&＃39;%s.txt&＃39;%i,&＃39;wb&＃39;) as f:
   for h in me:
    f.write(h.text.encode(&＃39;utf-8&＃39;))
    print(i)
  i+=1
if __name__ == &＃39;__main__&＃39;:
 xiazai()

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&＃39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&＃39;gb2312&＃39;)
 return html
def url_s():
 url=&＃39;http://www.w3school.com.cn/jquery/index.asp&＃39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&＃39;course&＃39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&＃39;a&＃39;)
  for i in m:
   m_url.append(i.get(&＃39;href&＃39;))
 for i in m_url_text:
  h=i.encode(&＃39;utf-8&＃39;).decode(&＃39;utf-8&＃39;)
  m_url_text=h.split(&＃39;\n&＃39;)
 return m_url,m_url_text

def xml():
 url,url_text=url_s()
 url_jque=[]
 for link in url:
  url_jque.append(&＃39;http://www.w3school.com.cn/&＃39;+link)
 return url_jque
def xiazai():
 urls=xml()
 i=0
 for url in urls:
  html=parse_url(url)
  soup=BeautifulSoup(html)
  me=soup.find_all(id=&＃39;maincontent&＃39;)
  with open(r&＃39;%s.txt&＃39;%i,&＃39;wb&＃39;) as f:
   for h in me:
    f.write(h.text.encode(&＃39;utf-8&＃39;))
    print(i)
  i+=1
if __name__ == &＃39;__main__&＃39;:
 xiazai()

结果

好了至此，我们的爬取工作完成，剩下的就是小修小布，大的内容我们都应该完成了。

其实python的爬虫还是很简单的，只要我们会分析网站的元素，找出所有元素的通项就可以很好的去分析和解决我们的问题

以上就是教你用python爬取w3shcool的课程并且保存到本地的代码实例的详细内容，更多请关注 第一PHP社区 其它相关文章！