python使用beautifulsoup中select方法爬虫时使用join和split方法配合处理特殊字符

python如何去掉字符串‘\xa0’
Python split()方法

Python join()方法
python中join()函数的使用方法

使用python对百度网页进行爬取时&＃xff0c;爬取的摘要标签中&＃xff0c;时间和文章内容在同一标签下&＃xff0c;但属于同一标签&＃xff0c;抓取的数据本身如果有空格&＃xff0c;在编译的时候会输出字符\xa0 &＃xff0c;使用join和split的组合方法去掉

想要爬取目标数据&＃xff1a;

使用beautifulsoup的select方法爬取出来的效果如下&＃xff1a;

想要的输出的结果&＃xff1a;

使用join和split的组合方法去掉

• split() 通过指定分隔符对字符串进行切片&＃xff0c;如果参数 num 有指定值&＃xff0c;则分隔 num&＃43;1 个子字符串
  参考网址Python split()方法
• split()方法输出的是列表

a &＃61; &＃39;abcv &＃39;
a.split() # split方法输出的是列表


• join方法输出的是字符串&＃xff0c;刚好配合起来

&＃39;&＃39;.join(i.get_text().split())
# split方法输出的是列表
# join方法输出的是字符串&＃xff0c;刚好配合起来


实际代码效果&＃xff0c;只截取了片段

# 2 匹配摘要date &＃61; soup.select(&＃39;.c-abstract&＃39;)
# print(len(date))
# print(date)
# 摘要部分包含了时间&＃xff0c;但时间后面带了一个空格&＃xff0c;
# 在编译的时候会输出字符\xa0 &＃xff0c;使用join和split的组合方法去掉dict[&＃39;date&＃39;] &＃61; [&＃39;&＃39;.join(i.get_text().split()) for i in date]
# print(dict[&＃39;date&＃39;])print(&＃39;摘要个数&＃xff1a;&＃39;,len(dict[&＃39;date&＃39;]))# 3 匹配时间t &＃61; soup.select(&＃39;span[class&＃61;"newTimeFactor_before_abs c-color-gray2 m"]&＃39;)
# print(t)dict[&＃39;time&＃39;] &＃61; [&＃39;&＃39;.join(i.get_text().split()) for i in t]
# print(dict[&＃39;time&＃39;])print(&＃39;时间个数&＃xff1a;&＃39;,len(dict[&＃39;time&＃39;]))


得到想要的
效果