开发笔记:3天掌握SparkRDD持久化

在实际开发中某些RDD的计算或转换可能会比较耗费时间&＃xff0c;如果这些RDD后续还会频繁的被使用到&＃xff0c;那么可以将这些RDD进行持久化/缓存&＃xff0c;这样下次再使用到的时候就不用再重新计算了&＃xff0c;提高了程序运行的效率。

将RDD数据进行缓存时&＃xff0c;本质上就是将RDD各个分区数据进行缓存

缓存函数

但是实际项目中&＃xff0c;不会直接使用上述的缓存函数&＃xff0c;RDD数据量往往很多&＃xff0c;内存放不下的。在实际的项目中缓存RDD数据时&＃xff0c;往往使用如下函数&＃xff0c;依据具体的业务和数据量&＃xff0c;指定缓存的级别&＃xff1a;

• 缓存级别

在Spark框架中对数据缓存可以指定不同的级别&＃xff0c;对于开发来说至关重要&＃xff0c;如下所示&＃xff1a;

际项目中缓存数据时&＃xff0c;往往选择如下两种级别&＃xff1a;

缓存函数与Transformation函数一样&＃xff0c;都是Lazy操作&＃xff0c;需要Action函数触发&＃xff0c;通常使用count函数触发。

• 释放缓存

缓存的RDD数据&＃xff0c;不再被使用时&＃xff0c;考虑释资源&＃xff0c;使用如下函数&＃xff1a;

此函数属于eager&＃xff0c;立即执行。

• 何时缓存数据

在实际项目开发中&＃xff0c;什么时候缓存RDD数据&＃xff0c;最好呢&＃xff1f;&＃xff1f;&＃xff1f;