作者：寒灵 | 来源：互联网 | 2023-09-10 18:15
问题是这样的
1
2
| val list= List((1,2),(3,5),(6,9))
val list2= List((3,4),(5,9),(9,12)) |
这两个list我写入rdd，然后想让list每一个元素的value查找list2的key进行合并，像这样
1
2
| （3,5）（5,9）=> (5,9)
请问如何可以做到 |
解决方法:
1
2
3
4
5
6
7
| val list= List((1,2),(3,5),(6,9))
val list2= List((5,4),(5,9),(9,12))
val spark = new SparkContext(conf)
val rdd1 = spark.parallelize(list).map(x=>(x._2,x._1))
val rdd2 = spark.parallelize(list2)
val union3=rdd1.join(rdd2).values
union3.collect().foreach(x=>println(x+" ")) |
京公网安备 11010802041100号