使用SparkSQL基于起始与终止时间生成时序数据表

SELECT DISTINCTgoods_id,get_dt_date(start_time,i) as new_dt --根据i进行日期的填充
from (SELECTgoods_id,get_dt_date(start_time) AS &＃96;start_time&＃96;,get_dt_date(end_time) AS &＃96;end_time&＃96;FROM temp_db.table_nameWHEREget_dt_date(end_time) > &＃39;20211115&＃39;)as t_1
lateral view
posexplode(split(space(datediff(get_date(end_time),get_date(start_time))),&＃39; &＃39;)) t as i,x


代码拆解&＃xff1a;

select space(datediff(get_date(&＃39;20220110&＃39;),get_date(&＃39;20220101&＃39;))) --根据日期间隔大小生成空格字符串
select split(space(datediff(get_date(&＃39;20220110&＃39;),get_date(&＃39;20220101&＃39;))),&＃39; &＃39;) --根据空格字符串大小进行切割形成数组
select posexplode(split(space(datediff(get_date(&＃39;20220110&＃39;),get_date(&＃39;20220101&＃39;))),&＃39; &＃39;)) --使用posexplode转换形成dataframe格式


1、第一句效果
2、第二句效果

3、第三句效果

4、然后使用
lateral view 和日期递增函数 get_dt_date(xxx,1)ro date_add函数使用开始时间进行日期填充。生成新的数组表。