Python爬虫安装库

Python个爬虫常用库的安装

工具库&＃xff1a;

请求库&＃xff1a;request seleinum

解析库&＃xff1a;beautifulsoup pyquery lxml

存储库&＃xff1a;mogodb,mysql,redis

1.urllib / re

[内置的]

import urllib

import re

2.request

第三方安装&＃xff1a;pip

pip install requests

不要使用尖括号

3.selenium

有js渲染的网站,可用selenium驱动浏览器

4.Chromedriver【将exe放在已配置好环境变量的目录下&＃xff0c;或添加环境变量】

from selenium import webdriver

driver &＃61; webdriver.Chrome

driver.get(&＃39;http://www.baidu.com&＃39;)

driver.page_source//打印源码

5.phantomjs

from selenium import webdriver

driver &＃61; webdriver.PhantomJS()

driver.get(&＃39;http://www.baidu.com&＃39;)

driver.page_source//打印源码

6.lxml

7.beautifulsoup

8.pyquery

from pyquery import PyQuery as pq

doc &＃61; pq(&＃39;hello&＃39;)

result &＃61; doc(&＃39;html&＃39;).text()

result

//输出为hello

9.pymysql

10.pymongo

11.redis

12.flask

13.django

14.jupyter

jupyter notebook【可在网页运行Python】

以上几个模块都可以用pip install &＃43;库名来安装