hive计算每个用户的受欢迎程度

查找每个用户在Facebook上的受欢迎程度百分比。受欢迎程度百分比定义为：用户拥有的朋友总数除以平台上的用户总数，然后乘以100转换成一个百分比。

输出每个用户及其受欢迎程度百分比。按用户id升序排列。

“id1”和“id2”列是成对的朋友。表如下：

要求输出结果

数据准备

create table temp_friends_0302
(
id1 int,--'用户',
id2 int -- '用户好友'
) row format delimited fields terminated by '\t'
stored as orc
tblproperties ("orc.compress" = "snappy");
insert into temp_friends_0302
values (1, 2),
(1, 3),
(1, 4),
(1, 5),
(1, 6),
(2, 6),
(2, 7),
(3, 8),
(3, 9);
select * from temp_friends_0302;

解决方案

其实本题的用意在于求用户数以及用户对应的好友数

 1、通过函数计算每个用户的好友数，id1 id2 是相互的，需要union 一下

select id1, id2
from temp_friends_0302
union all
select id2 id1, id1 id2
from temp_friends_0302;

所有操作应该以此数据集作为底层数据

计算好友用户数

select id1, size(collect_set(id2)) friend_num
from (select id1, id2
from temp_friends_0302
union all
select id2 id1, id1 id2
from temp_friends_0302) t
group by id1;

  2、计算用户总数

select id1, sum(1) over () user_num, friend_num
from (select id1, size(collect_set(id2)) friend_num
from (select id1, id2
from temp_friends_0302
union all
select id2 id1, id1 id2
from temp_friends_0302) t
group by id1) t;

 3、根据第二部结果计算最总结果:用户拥有的朋友总数除以平台上的用户总数，然后乘以100转换成一个百分比。

select id1, cast(friend_num * 100 / t_num as decimal(5, 2)) || '%' feiend_bfb
from (select id1, sum(1) over () t_num, friend_num
from (select id1, size(collect_set(id2)) friend_num
from (select id1, id2
from temp_friends_0302
union all
select id2 id1, id1 id2
from temp_friends_0302) t
group by id1) t) t;

  总结

主要使用了 size(collect_set())函数，collect_set() 具有剔重效果，所以无需考虑重复数据，另外需要注意用户好友是相互的，所以原表需要union一下。