开发笔记:python爬虫——对爬到的数据进行清洗的一些姿势

def ExtractTagsFromContent(content, num_of_tags):
tags = jieba.analyse.extract_tags(content, topK = num_of_tags)
return tags

def GetTermFreqFromContent(tags, content):
tfdict = {}
for tag in tags:
tfdict[tag] = 0 #把已出现的词频度初始化为0

seg_list = jieba.cut(content) #把新闻内容切分成词
has_words = False
for word in seg_list:
if tfdict.has_key(word):
tfdict[word] = tfdict[word] + 1 #统计频度
has_words = True
if has_words:
return tfdict
else:
return None

def CosinSimilarity(vector1, vector2):
if len(vector1) != len(vector2):
print "Error: vector1:" + vector1 + " and vector2: " + vector2 + "have different dimensions"
return None
numerator = 0.0
v1_square = 0.0
v2_square = 0.0
for i in range(0, len(vector1)):
numerator += vector1[i] * vector2[i]
v1_square += vector1[i] * vector1[i]
v2_square += vector2[i] * vector2[i]
denominator = math.sqrt(v1_square * v2_square)
if denominator == 0:
return None
else:
return numerator / denominator

def FindSimilarPassageFromSet(news_set, example_tf):
heap = []
tags = []
for tag in example_tf.keys():
tags.append(tag)
for file_path in news_set:
tf = GetTermFreqFromFile(tags, file_path)
if tf == None:
continue
similarity = CosinSimilarityForDict(example_tf, tf)
# 插入堆
if not similarity == None:
heap.append(SimilarPassage(similarity * -1.0, file_path))
# 把最高相似度弹出（有*-1的关系，最小弹出实际是最大弹出）
heapq.heapify(heap)
if len(heap) == 0:
return None
result = heapq.heappop(heap)
if result.Relevant():
print "Similarity: " + str(result.similarity)
news_set.discard(result.file_path)
return result.file_path
else:
return None

:春季番最新销量：《机甲少女》热卖 《樱花任务》暴死 被认为是“买手办送光碟”的《机甲少女FRAME ARMS GIRL》第1卷不负众望取得了好成绩。而P.A.WORKS动画公司继《花开伊吕波》《白箱》之后的第三部工作题材动画《樱花任务》销量仅为1392张，在春季番中属于垫底。<br/>2017年春季番销量及排名情况（截止2017年7月23日）<br/><br/>第1名：《碧蓝幻想》 53571张<br/><br/>第2名：《偶像大师 灰姑娘女孩剧场》 42959张<br/><br/>第3名：《埃罗芒阿老师》 10417张<br/><br/>第4名：《高校星歌剧》第2季 9827张<br/><br/>第5名：《机甲少女FRAME ARMS GIRL》 7614张<br/><br/>第6名：《进击的巨人》第2季 7525张<br/><br/>第7名：《王室教师海涅》 6532张<br/><br/>第8名：《夏目友人帐》第6季 4862张<br/><br/>第9名：《我的英雄学院》第2季 4145张<br/><br/>第10名：《sin七大罪》 3305张<br/><br/>第11名：《Re：CREATORS》 2631张<br/><br/>第12名：《不正经的魔术讲师与禁忌教典》 2485张<br/><br/>第13名：《末日时在做什么？有没有空？可以来拯救吗？》 1674张<br/><br/>第14名：《剑姬神圣谭》 1656张<br/><br/>第15名：《武装少女》 1425张<br/><br/>第16名：《樱花任务》 1392张<br/><br/>第17名：《时钟机关之星》 896张<br/><br/>第18名：《怪怪守护神》 834张<br/><br/>第19名：《覆面系Noise》 823张<br/><br/>第20名：《喧哗番长乙女》 673张<br/><br/>第21名：《恋爱暴君》 556张

:可惜，lost stars没有音频版的，不能更好听！实力唱将！幸好，open arms有啊<a href="/n/M%E9%B9%BFM">@M鹿Ma> 的<a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRorgJGY&ep=FerXXxPbm%2C1763629124%2CFerXXxPbm%2C1763629124">触发（Set it off）a> 打榜就行！<a href="http://weibo.cn/pages/100808topic?extparam=%E4%BA%9A%E6%B4%B2%E6%96%B0%E6%AD%8C%E6%A6%9C&from=feed">#亚洲新歌榜#a> 现在参与打榜，还有机会获得8月27日举办的亚洲新歌榜2017年度盛典门票！ ???

:发售中的Switch平台游戏《ARMS》公开全新TVCM，在近日任天堂公开的Q1财报中《ARMS》成功突破百万销量，期待今后的表现。[鼓掌] <a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FR9yV0Fz&ep=FerBM7lQy%2C1764127957%2CFerBM7lQy%2C1764127957">秒拍视频a> ???

:<a href="http://weibo.cn/pages/100808topic?extparam=%E5%AD%A6%E5%AD%90%E9%A3%8E%E9%87%87&from=feed">#学子风采#a> 【厉害了， 集大学子获第41届ACM国际大学生程序设计竞赛亚洲区域赛铜奖】日前，ACM/ICPC（国际大学生程序设计竞赛）亚洲区域赛在青岛落下帷幕。北京大学、复旦大学、武汉大学、厦门大学等115所高校的186支代表队参赛。经过激烈角逐，由我校计算机工程学院2014级学生吴晓仁、阚航、陈明振组成的集大ACM集训队（指导教师：林阳斌）获得一枚铜牌。<br/><br/>　　ACM国际大学生程序设计竞赛（简称ACM－ICPC）是由国际计算机界具有悠久历史的权威性组织ACM学会（Association for Computing Machinery）主办，世界上公认的规模最大、水平最高、参与人数最多的国际大学生程序设计竞赛，被业界称为IT界的“奥林匹克”竞赛。 <a href="/n/%E9%9B%86%E5%A4%A7%E8%AE%A1%E7%AE%97%E6%9C%BA%E5%B7%A5%E7%A8%8B%E5%AD%A6%E9%99%A2%E5%AD%A6%E7%94%9F%E4%BC%9A">@集大计算机工程学院学生会a>

:ACM-ICPC竞赛算法类型 - 海岛Blog - CSDN博客 <a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRK1sG4m&ep=FdolV9DkF%2C6286510827%2CFdolV9DkF%2C6286510827">http://t.cn/RK1sG4ma> ???

:【我校学子在ACM国际大学生程序设计竞赛全国邀请赛上摘金】2017年5月，ACM国际大学生程序设计竞赛（ACM-ICPC）全国邀请赛在西北工业大学举行。由我校学生李志远、徐经纬、陈笑天三名同学组成的队伍“challenge”夺得金奖，捧回了我校历史上的第一枚ACM-ICPC金牌。详情可见<a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRol0sxX&ep=F9Vlbao8b%2C1845850033%2CF9Vlbao8b%2C1845850033">http://t.cn/Rol0sxXa> ???

:【我校学子在ACM国际大学生程序设计竞赛全国邀请赛上摘金】2017年5月，ACM国际大学生程序设计竞赛（ACM-ICPC）全国邀请赛在西北工业大学举行。由我校学生李志远、徐经纬、陈笑天三名同学组成的队伍“challenge”夺得金奖，捧回了我校历史上的第一枚ACM-ICPC金牌。详情可见<a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRol0sxX&ep=F9Vlbao8b%2C1845850033%2CF9Vlbao8b%2C1845850033">http://t.cn/Rol0sxXa> ???

:等等，考虑到今后将推出的游戏，难不成NB社Switch上第三方一哥？回想起来马车8dx和arms后面都有对NBGI的特别鸣谢，真是可怕极了 <a href="https://weibo.cn/sinaurl?f=w&u=http%3A%2F%2Ft.cn%2FRU14lZk&ep=FeUqn8BXP%2C1886986281%2CFeUqn8BXP%2C1886986281">日本·横滨a> ???