KDDCUP2012任务1

今年的KDD CUP由腾讯公司赞助。在活跃用户数量方面&＃xff08;截至2012年1月&＃xff0c;共有7亿用户&＃xff09;&＃xff0c;腾讯是中国最大的互联网公司。腾讯公司在中国拥有各种流行的产品&＃xff0c;包括实时消息、邮件、新闻门户、搜索引擎、在线游戏、博客、微博等&＃xff0c;这为建立用户模型以实现高效的用户意图预测和结果推荐提供了丰富的机会。今年的KDD CUP包括两个独立的任务。

任务1. 微博上的社会网络挖掘

腾讯微博&＃xff08;http://t.qq.com/&＃xff09;提供了大量的社会网络信息。2012KDD CUP所发布的数据展示了一个腾讯微博的用户(user)在多个对象(item)上的偏好的样本快照——给用户的推荐(recommendation)以及关注关系(follow-relation)的历史记录。此外&＃xff0c;同一层级(hierarchy)的对象被捆绑在一起。也就是说&＃xff0c;每个人(person)、机构(orgnization)或者群(group)都属于某些特定的类别(categorie)&＃xff0c;并且一个类别属于某些更高层次的类别。在竞赛中&＃xff0c;不论是用户还是项目&＃xff08;人、组织或者群组&＃xff09;都采用了匿名的、没有实际意义的编号来展现&＃xff0c;因此不会有标识性的信息被泄漏。数据中包含了1000万用户和5万个项目&＃xff0c;以及3亿条推荐记录和大约300万个社会网络的“关注(following)”行为。对象被联系在已定义的层级中&＃xff0c;并且隐私保护的用户信息也很丰富。数据中的用户行为(user activities)具有时间标签。

任务1是要预测在所有可能的用户中&＃xff0c;一个给定的用户将会跟随哪些用户。

在线社交网络服务在近些年变得非常的流行&＃xff0c;出现了像facebook、twitter、腾讯微博这样拥有数亿活跃用户&＃xff0c;并且每天都增加数以千计狂热用户的网络站点。腾讯微博作为中国最大的微博客网站&＃xff0c;自2010年4月上线以来&＃xff0c;已经成为主要的在线交友和分享兴趣的平台。目前&＃xff0c;腾讯微博有2亿注册用户&＃xff0c;每天产生4000万条信息。这样的规模有益于腾讯微博的用户但是也可能将用户淹没在巨量的信息中并使之处于信息过载的危机中。减轻信息过载是改善用户体验的首要任务&＃xff0c;同时也为新的数据挖掘方案提供了机会。因此&＃xff0c;捕获用户的兴趣并据此用潜在的感兴趣的对象来服务他们&＃xff08;例如&＃xff0c;新闻、游戏、广告、产品&＃xff09;&＃xff0c;是像腾讯微博这样的社交网络服务的基本和重要的功能。

这个预测任务包括预测用户是否会接受推荐给他的对象。对象可能是人、机构或者组&＃xff0c;下面将给出泛化的定义。

术语定义&＃xff1a;

"Item"&＃xff08;对象&＃xff09;&＃xff1a;推荐给用户的事务&＃xff0c;可以是人、机构或者群。通常为从对象集合&＃xff08;Item set&＃xff09;中选择的名人、机构或者流行的群。在比赛的数据集中&＃xff0c;该对象集合包含约6k个对象。

该数据集中的对象以分类的方式组织&＃xff0c;类中可以包含子类&＃xff0c;从而形成一个完整的分层结构。注意&＃xff0c;一个对象可以属于多个类。比如&＃xff1a;VIP用户 李开复博士&＃xff08;vip user:http://t.qq.com/kaifulee、wikipedia:http://en.wikipedia.org/wiki/Kai-Fu_Lee)属于两个类别&＃xff0c;表示如下&＃xff1a;

X.science-and-technology.internet.mobile(X 表示根目录&＃xff0c;通常可以忽略)&＃xff1b;

X.business.Invest.Angel Investment.

目录中不同的级别以“."分割&＃xff0c;对象的类别信息可以帮助您提升预测模型。比如&＃xff0c;一个用户peter关注了李开复&＃xff0c;则可以估计peter可能对李开复所在的分类或者父类中的其他对象感兴趣。

“Tweet”&＃xff08;微博&＃xff09;&＃xff1a;是指一个用户在微博系统发布的一个消息的行为或者指这条信息本身。如果一个用户发布了一个微博&＃xff0c;则其关注者可以看到。

“Retweet”&＃xff08;转发&＃xff09;&＃xff1a;一个用户可以转发一条微博并添加自己的评论&＃xff08;也可以不添加&＃xff09;来同更多的人共享&＃xff08;他的关注者&＃xff09;。

“Comment”&＃xff08;评论&＃xff09;&＃xff1a;一个用户可以为一个微博添加一个评论。该评论不会自动推送给他的关注者&＃xff0c;但是该评论会出现在被评论论微博的评论历史中。

“Followee/follower”&＃xff08;被关注/关注者&＃xff09;&＃xff1a;如果B被用户A关注&＃xff0c;则B是一个被关注者&＃xff0c;A是B的一个关注者。

数据集描述&＃xff1a;

该数据集是腾讯微博的一个快照——为用户推荐的内容及其关注的历史信息。该数据集较之以往的公开数据集规模更大&＃xff0c;并且包含多方面的丰富的信息&＃xff0c;比如用户的Profile&＃xff08;档案资料&＃xff09;&＃xff0c;社会关系图&＃xff0c;对象目录等&＃xff0c;可以有效的启发开发者的思路。

该数据集合包含上百万个用户&＃xff0c;提供了丰富的信息&＃xff08;统计资料、用户基本资料关键字&＃xff0c;关注历史等&＃xff09;&＃xff0c;可以帮助你建立更好的预测模型。为了保护隐私&＃xff0c;所有的用户和对象的ID采用随机数代替。同时&＃xff0c;所有中文内容都用随机字符串和数字进行了编码&＃xff0c;以防止理解中文的比赛者占有优势。推荐具有时间戳以方便会话分析。

两个数据集共7个text文件&＃xff08;可下载&＃xff09;&＃xff1a;

a) 训练数据集 : some fields are in the file rec_log_train.txt

b) 测试数据集: some fields are in the file rec_log_test.txt

以上两个文件的格式:

(UserId)\t(ItemId)\t(Result)\t(Unix-timestamp)

Result:值为 1 or -1, 1表示用户(UserID)接收推荐的对象(ItemId)&＃xff1b; -1表示用户拒绝推荐对象。&＃xff08;注意&＃xff1a;训练数据集包含result值&＃xff0c;测试数据集都用“-1”代替&＃xff09;

c) 训练和测试数据集中更多的用户信息包含在如下5个文件中:

i.用户档案数据: user_profile.txt

每一行为一个用户的信息:生日&＃xff08;the year of birth&＃xff09;,性别&＃xff08;the gender&＃xff09;, 微博数量&＃xff08;the number of tweets&＃xff09;和标签&＃xff08;the tag-Ids&＃xff09;.注意&＃xff1a;被推荐的用户信息也包含在该文件中。

格式&＃xff1a;

(UserId)\t(Year-of-birth)\t(Gender)\t(Number-of-tweet)\t(Tag-Ids)

Year-of-birth 在用户注册时选择。

Gender 为整数值0, 1, 或者 2, 分别表示“unknown”,“male”, 或者 “female”。

Number-of-tweet 是一个整数值&＃xff0c;表示用户已经发布的微博的数量。

标签&＃xff08;Tags&＃xff09;是用户选择用以表现其兴趣的。如果一个用户喜欢爬山和游泳&＃xff0c;他/她可能会选择“爬山”或者“游泳”作为标签。有些用户什么也不选。数据集中标签没有使用自然语言来描述&＃xff0c;每个唯一的标签由一个唯一的整数编号。

Tag-Ids的表现形式为"tag-id1;tag-id2;...;tag-idN"。如果一个用户没有标签&＃xff0c;Tag-Ids将为"0".

ii.对象数据: item.txt

每行包含以下信息&＃xff1a;对象所属的类和关键字。

格式&＃xff1a;

(ItemId)\t(Item-Category)\t(Item-Keyword)

Item-Category 是一个字符串"a.b.c.d"&＃xff0c;不同层级的类用"."隔开&＃xff0c;以自顶向下的顺序排列&＃xff08;即&＃xff0c;类&＃39;a&＃39;是类&＃39;b&＃39;的父类&＃xff0c;类&＃39;b&＃39;是类&＃39;c&＃39;的父类&＃xff0c;等等&＃xff09;

Item-Keyword 包含了从相应的人、机构、组的档案中提取出的关键字。格式为一个字符串“id1;id2;...;idN”&＃xff0c;其中每个唯一的关键字用一个唯一的整数表示&＃xff0c;所以不会有真是信息被泄露。

iii.用户行为数据:user_action.txt

这个文件包含了最近一段时间内用户之间&＃39;at&＃39;(&＃64;)的统计数据

格式&＃xff1a;

(UserId)\t(Action-Destination-UserId)\t(Number-of-at-action)\t(Number-of-retweet)\t(Number-of-comment)

如果用户A想提醒其他用户关注他/她的微博、转发、评论&＃xff0c;他/她应该使用&＃39;at&＃39;(&＃64;)行为来告知其他用户。例如&＃39;&＃64;tiger&＃39;&＃xff08;这里&＃xff0c;用户tiger将被提醒&＃xff09;

例如&＃xff0c;用户A转发了用户B的5条信息&＃xff0c;&＃39;at&＃39;B三次、评论用户B6次&＃xff0c;文件user_action.txt中将有一个列"A B 3 5 6"

iv.用户社会关系数据:user_sns.txt

这个文件包含了每个用户的关注历史&＃xff08;即&＃xff0c;关注其他用户的历史&＃xff09;。注意&＃xff0c;关注关系是相互的。

格式:

(Follower-userid)\t(Followee-userid)

v.用户关键字数据:user_key_word.txt

这个文件包含了从每个用户的微博/转发/评论中提取出的关键字。

格式:

(UserId)\t(Keywords)

关键字的形式为"kw1:weight1;kw2:weight2;…kw3:weight3".

关键字是从用户的微博、转发、评论&＃xff08;tweet/retweet/comment&＃xff09;中抽取的, 可以在预测模型中&＃xff0c;表示用户特征&＃xff0c;权值越高表示该用户对该关键字兴趣越大。

每个唯一的关键字表示为一个唯一的整数&＃xff0c;并且该关键字同Item-Keyword使用相同词汇表。

每个队要提交一个关于测试数据集的文本格式的结果文件。在这个文件中&＃xff0c;每一行包括3个域&＃xff0c;(UserId)\t(ItemId)\t(Result)。每个UserId对应于一个或多个ItemId&＃xff0c;Result是用户给对象列表排序的十进制值&＃xff0c;一个对象的值越高表示这个对象越值得用户关注。

队长面板上的每个队的分数和排名是基于所提交的结果文件计算出来的&＃xff0c;并且显示了一个有效数据集上的真值&＃xff0c;该数据集的实例是一个确定的集合、在比赛开始时随机从测试数据集中采样出来&＃xff0c;直到比赛结束。之后&＃xff0c;队长面板上的分数和相应的排名基于预测结果和剩余的测试数据集。这确保比赛结束时&＃xff0c;队长面板上排名前三的队是胜出者。生成训练数据集的日志对应于测试数据集更早的时间。

评估值是平均精度的。该数值更详细的定义见‘Evaluation’页