python数据采集模块_Python数据采集模块2

--coding:utf-8--

1.正则表达式&＃xff08;Regular Expression&＃xff09;

2.Re正则表达式模块

&＃39;&＃39;&＃39;

python的内置模块&＃xff0c;使用前 import re

表示方法&＃xff1a;r&＃39;\d{3}\s&＃43;\d{3,8}&＃39;

2.2常用函数

re.complie(patern,flag &＃61; 0) :将字符串的正则表达式编译为Pattern对象

re.search(string[,pos[,endpos]]) 从string的任意位置开始匹配

re.match(string[,pos[,endpos]]) 从string的开头开始匹配 返回Match对象&＃xff0c;否则返回None

re.findall(string[,pos[,endpos]]) 从string的任意位置开始匹配。返回一个列表

re.finditer(string[,pos[,endpos]]) 从string的任意位置开始匹配,返回一个迭代器

&＃39;&＃39;&＃39;

import re

obj &＃61; re.match(r&＃39;\d{3}-\d{3,8}$&＃39;,&＃39;010-287688&＃39;)

print(obj)

切分字符串 split()无法识别连续空格&＃xff0c;使用re.split()&＃43;正则表达式组合

s &＃61; &＃39;a b c d e r&＃39;

list01 &＃61; re.split(r&＃39;[\s,;]&＃43;&＃39;,s)

list02 &＃61; s.split(&＃39; &＃39;)

print(list01)

print(list02)

3.logging日志模块

&＃39;&＃39;&＃39;

python 内置标准库&＃xff0c;用于输出运行日志&＃xff0c;可以设置日志级别&＃xff0c;日志保存路径&＃xff0c;日志文件回滚

import logging

日志级别&＃xff1a;使用范围&＃xff0c;由高到低

1.FATAL:致命错误

2.CRITICAL:特别糟糕的&＃xff0c;如内存耗尽&＃xff0c;磁盘为空&＃xff0c;一般很少用

3.ERROR&＃xff1a;发生错误时&＃xff0c;如IO操作失败或者连接问题

4.WARNING&＃xff1a;发生很重要的时间&＃xff0c;并不是错误

5.INFO&＃xff1a;处理请求或者状态变化等日常事务

6.DEBUG:调试过程使用DEBUG等级

备注&＃xff1a;5&＃xff0c;6使用print()

&＃39;&＃39;&＃39;

3.3使用

&＃39;&＃39;&＃39;

1.设置日志首先需要使用logging.basiceConfig()函数设置日志信息的输出格式

基本语法&＃xff1a;

logging.basicConfig(level &＃61; ?,format &＃61; ?)

level:日志级别

format&＃xff1a;设置信息格式&＃xff0c;如下

%(asctime)s:系统内时间

%(name)s:信息源名称

%(levelname)s:信息级别

%(message)s:信息内容

2.设置信息源名称&＃xff0c;返回一个logger对象

logger &＃61; logging.getLogger(name)#name 系统级变量获取运行对象名称

&＃39;&＃39;&＃39;

import logging

配置日志输出格式

logging.basicConfig(level &＃61; logging.INFO,format &＃61; &＃39;%(asctime)s - %(name)s - %(levelname)s - %(message)s&＃39;)

logger &＃61; logging.getLogger(name)

logger.fatal(&＃39;系统奔溃或发生致命错误&＃xff0c;导致程序中断时需要输出的信息&＃39;)

logger.critical(&＃39;系统资源耗竭时需要输出的信息&＃39;)

logger.error(&＃39;系统报错异常时需要输出的信息&＃39;)

logger.warning(&＃39;系统运行警告时需要输出的信息&＃39;)

logger.info(&＃39;一般信息数据&＃39;)

logger.debug(&＃39;测试调试时需要输出的信息数据&＃39;)

日志默认从info级别向上输出&＃xff0c;debug不输出&＃xff0c;太多

3日志写入文件

&＃39;&＃39;&＃39;

FileHandle 用来将输出日志信息写入指定文件

步骤&＃xff1a;

3.1 创建并设置logger

3.2 创建并设置FileHandle对象

3.3logger对象重新添加并替换原有的Handler处理器

&＃39;&＃39;&＃39;

import logging

import os

import time

loger01 &＃61; logging.getLogger(name)

loger01.setLevel(logging.INFO)

formatter &＃61; logging.Formatter(&＃39;%(asctime)s - %(name)s - %(levelname)s - %(message)s&＃39;)

dirPath &＃61; os.path.join(os.getcwd(),&＃39;测试用例&＃39;)

if not os.path.exists(dirPath):

os.mkdir(dirPath)

logFileName &＃61; time.strftime(&＃39;%Y%m%d%H%M%S&＃39;,time.localtime()) &＃43; &＃39;log&＃39;

logPath &＃61; dirPath &＃43; os.sep &＃43; logFileName

fileHandle &＃61; logging.FileHandler(logPath)

fileHandle.setLevel(logging.INFO)

fileHandle.setFormatter(formatter)

loger01.addHandler(fileHandle)

loger01.fatal(&＃39;系统奔溃或发生致命错误&＃xff0c;导致程序中断时需要输出的信息&＃39;)

loger01.critical(&＃39;系统资源耗竭时需要输出的信息&＃39;)

loger01.error(&＃39;系统报错异常时需要输出的信息&＃39;)

loger01.warning(&＃39;系统运行警告时需要输出的信息&＃39;)

loger01.info(&＃39;一般信息数据&＃39;)

loger01.debug(&＃39;测试调试时需要输出的信息数据&＃39;)