python获取网页数据判断并提交_两种判断（抓取）网页编码的方法【python版】

在web开发的时候我们经常会遇到网页抓取和分析&＃xff0c;各种语言都可以完成这个功能。我喜欢用python实现&＃xff0c;因为python提供了很多成熟的模块&＃xff0c;可以很方便的实现网页抓取。

但是在抓取过程中会遇到编码的问题&＃xff0c;那今天我们来看一下如何判断网页的编码&＃xff1a;

网上很多网页的编码格式都不一样&＃xff0c;大体上是GBK,GB2312&＃xff0c;UTF-8等。

我们在获取网页的的数据后&＃xff0c;先要对网页的编码进行判断&＃xff0c;才能把抓取的内容的编码统一转换为我们能够处理的编码&＃xff0c;避免乱码问题的出现。

方法一&＃xff1a;使用urllib模块的getparam方法

1 importurllib2 #autor&＃xff1a;pythontab.com

3 fopen1 &＃61; urllib.urlopen(&＃39;http://www.baidu.com&＃39;).info()4 print fopen1.getparam(&＃39;charset&＃39;)#baidu

执行结果为&＃xff1a;

gbk

呵呵&＃xff0c;其实&＃xff0c;上面的获取的编码都是不正确的&＃xff0c;我们可以自己打开网页查看源代码&＃xff0c;发现baidu的是gb2312。唉&＃xff0c;这个方法确实有点坑爹啊。检测不准确、检测不到&＃xff0c;它都占了&＃xff0c;所以很不靠谱&＃xff0c;下面介绍一个靠谱的方法。

方法二&＃xff1a;使用chardet模块

1 #如果你的python没有安装chardet模块&＃xff0c;你需要首先安装一下chardet判断编码的模块哦

2 #author:pythontab.com

3 importchardet4 importurllib5 #先获取网页内容

6 data1 &＃61; urllib.urlopen(&＃39;http://www.baidu.com&＃39;).read()7 #用chardet进行内容分析

8 chardit1 &＃61;chardet.detect(data1)9

10 print chardit1[&＃39;encoding&＃39;] #baidu

执行结果为&＃xff1a;

gb2312

这个结果都是正确的哦&＃xff0c;各位可以去亲自验证一下~~

总结&＃xff1a;第二个方法很准确&＃xff0c;在网页编码分析的时候用python模块分析内容是最准确的&＃xff0c;而使用分析meta头信息的方法是不太准确的。