pyspark条件_使用pyspark进行条件聚合问答阿里云开发者社区阿里云

将以下内容视为数据框架

a b c d e

africa 123 1 10 121.2

africa 123 1 10 321.98

africa 123 2 12 43.92

africa 124 2 12 43.92

usa 121 1 12 825.32

usa 121 1 12 89.78

usa 123 2 10 32.24

usa 123 5 21 43.92

canada 132 2 13 63.21

canada 132 2 13 89.23

canada 132 3 21 85.32

canada 131 3 10 43.92

现在我想使用数据帧将以下case语句转换为PYSPARK中的等效语句。

我们可以直接在case语句中使用hivecontex / sqlcontest来寻找传统的pyspark nql查询

select

casewhen c <&＃61;10 then sum(e)

when c between 10 and 20 then avg(e)

else 0.00 end

from table

group by a,b,c,d