日志分析代码实现(字符串切割)

• 思路
  

      不使用正则表达式处理:进行字符串切割将[]和"括起的内容特殊处理将每段数据转换为对应格式代码精简,代码效率检查

import datetime


# 目标日志
logline &＃61; &＃39;&＃39;&＃39;183.60.212.153 - - [19/Feb/2013:10:23:29 &＃43;0800] \
"GET /o2o/media.html?menu&＃61;3 HTTP/1.1" 200 16691 "-" \
"Mozilla/5.0 (compatible; EasouSpider; &＃43;http://www.easou.com/search/spider.html)"&＃39;&＃39;&＃39;

clean_log &＃61; logline.split() 
# list
#[&＃39;183.60.212.153&＃39;, &＃39;-&＃39;, &＃39;-&＃39;, &＃39;[19/Feb/2013:10:23:29&＃39;, &＃39;&＃43;0800]&＃39;,\
# &＃39;"GET&＃39;, &＃39;/o2o/media.html?menu&＃61;3&＃39;, &＃39;HTTP/1.1"&＃39;, &＃39;200&＃39;, &＃39;16691&＃39;, \
# &＃39;"-"&＃39;, &＃39;"Mozilla/5.0&＃39;, &＃39;(compatible;&＃39;, &＃39;EasouSpider;&＃39;, &＃39;&＃43;http://www.easou.com/search/spider.html)"&＃39;]


# 转换时间格式
def convert_time(time:str):
    return datetime.datetime.strptime(time, &＃39;%d/%b/%Y:%H:%M:%S %z&＃39;)

# 将request字符串切分为三段
def convert_request(request:str):
    return dict(zip((&＃39;method&＃39;,&＃39;url&＃39;,&＃39;protocol&＃39;),request.split()))

# 给予对应字段名
names &＃61; [
    &＃39;remote&＃39;,&＃39;&＃39;,&＃39;&＃39;,&＃39;time&＃39;,
    &＃39;request&＃39;,&＃39;status&＃39;,&＃39;size&＃39;,&＃39;&＃39;,
    &＃39;useragent&＃39;
]

# 处理对应字段名的函数
operations &＃61; [
    None,None,None,convert_time,
    convert_request,int,int,None,
    None
]

# 切割字符串为合适格式
def log_clean(line:str,ret&＃61;None):
    if ret:
        ret &＃61; []
    tmp &＃61; &＃39;&＃39;
    flag &＃61; False
    for word in line.split():
        if word.startswith(&＃39;[&＃39;) or word.startswith(&＃39;"&＃39;):
            tmp &＃61; word.strip(&＃39;["&＃39;)
            if word.endswith(&＃39;"&＃39;) or word.endswith(&＃39;]&＃39;):
                ret.append(tmp)
                flag &＃61; False
                continue
            flag &＃61; True
            continue

        if flag:
            tmp &＃43;&＃61; &＃39; &＃39; &＃43; word
            if word.endswith(&＃39;"&＃39;) or word.endswith(&＃39;]&＃39;):
                ret.append(tmp.strip(&＃39;"]&＃39;))
                flag &＃61; False
            continue
        else:
            ret.append(word)


# 遍历处理后日志,根据对应字段,进行对应处理后再保存至新字典中
ret_d &＃61; {}
log_clean(logline)
for i, field in enumerate(ret):
    key &＃61; names[i]
    if operations[i]:
        ret_d[key] &＃61; operations[i](field)
    else:
        ret_d[key] &＃61; field
print(ret_d)