当前位置: 开发笔记 > 运维 > 正文

Hive分析窗口函数(四)LAG,LEAD,FIRST_VALUE,LAST_VALUE

作者：Happy_Kelly尊荣 | 来源：互联网 | 2018-05-27 03:12

1.LAG功能是什么？2.LEAD与LAG功能有什么相的地方那个？3.FIRST_VALUE与LAST_VALUE分别完成什么功能？继续学习这四个分析函数。注意：这几个函数不支持WINDOW子句。Hive版本为apache-hive-0.13.1数据准备：水电费cookie1,2015-04-1010:00:02,url2

1.LAG功能是什么？ 2.LEAD与LAG功能有什么相的地方那个？ 3.FIRST_VALUE与LAST_VALUE分别完成什么功能？继续学习这四个分析函数。注意：这几个函数不支持WINDOW子句。 Hive版本为 apache-hive-0.13.1 数据准备：水电费 COOKIE1,2015-04-10 10:00:02,url2

1.LAG功能是什么？
2.LEAD与LAG功能有什么相&＃20284;的地方那个？

3.FIRST_VALUE与LAST_VALUE分别完成什么功能？

继续学习这四个分析函数。注意：这几个函数不支持WINDOW子句。 Hive版本为 apache-hive-0.13.1 数据准备：

水电费

    COOKIE1,2015-04-10 10:00:02,url2
    COOKIE1,2015-04-10 10:00:00,url1
    COOKIE1,2015-04-10 10:03:04,1url3
    COOKIE1,2015-04-10 10:50:05,url6
    COOKIE1,2015-04-10 11:00:00,url7
    COOKIE1,2015-04-10 10:10:00,url4
    COOKIE1,2015-04-10 10:50:01,url5
    COOKIE2,2015-04-10 10:00:02,url22
    COOKIE2,2015-04-10 10:00:00,url11
    COOKIE2,2015-04-10 10:03:04,1url33
    COOKIE2,2015-04-10 10:50:05,url66
    COOKIE2,2015-04-10 11:00:00,url77
    COOKIE2,2015-04-10 10:10:00,url44
    COOKIE2,2015-04-10 10:50:01,url55

    CREATE EXTERNAL TABLE lxw1234 (
    COOKIEid string,
    createtime string,  --页面访问时间
    url STRING       --被访问页面
    ) ROW FORMAT DELIMITED
    FIELDS TERMINATED BY &＃39;,&＃39;
    stored as textfile location &＃39;/tmp/lxw11/&＃39;;


    hive> select * from lxw1234;
    OK
    COOKIE1 2015-04-10 10:00:02     url2
    COOKIE1 2015-04-10 10:00:00     url1
    COOKIE1 2015-04-10 10:03:04     1url3
    COOKIE1 2015-04-10 10:50:05     url6
    COOKIE1 2015-04-10 11:00:00     url7
    COOKIE1 2015-04-10 10:10:00     url4
    COOKIE1 2015-04-10 10:50:01     url5
    COOKIE2 2015-04-10 10:00:02     url22
    COOKIE2 2015-04-10 10:00:00     url11
    COOKIE2 2015-04-10 10:03:04     1url33
    COOKIE2 2015-04-10 10:50:05     url66
    COOKIE2 2015-04-10 11:00:00     url77
    COOKIE2 2015-04-10 10:10:00     url44
    COOKIE2 2015-04-10 10:50:01     url55

LAG

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行&＃20540;
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认&＃20540;（当往上第n行为NULL时候，取默认&＃20540;，如不指定，则为NULL）

    SELECT COOKIEid,
    createtime,
    url,
    ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn,
    LAG(createtime,1,&＃39;1970-01-01 00:00:00&＃39;) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last_1_time,
    LAG(createtime,2) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last_2_time
    FROM lxw1234;


    COOKIEid createtime             url    rn       last_1_time             last_2_time
    -------------------------------------------------------------------------------------------
    COOKIE1 2015-04-10 10:00:00     url1    1       1970-01-01 00:00:00     NULL
    COOKIE1 2015-04-10 10:00:02     url2    2       2015-04-10 10:00:00     NULL
    COOKIE1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:00:02     2015-04-10 10:00:00
    COOKIE1 2015-04-10 10:10:00     url4    4       2015-04-10 10:03:04     2015-04-10 10:00:02
    COOKIE1 2015-04-10 10:50:01     url5    5       2015-04-10 10:10:00     2015-04-10 10:03:04
    COOKIE1 2015-04-10 10:50:05     url6    6       2015-04-10 10:50:01     2015-04-10 10:10:00
    COOKIE1 2015-04-10 11:00:00     url7    7       2015-04-10 10:50:05     2015-04-10 10:50:01
    COOKIE2 2015-04-10 10:00:00     url11   1       1970-01-01 00:00:00     NULL
    COOKIE2 2015-04-10 10:00:02     url22   2       2015-04-10 10:00:00     NULL
    COOKIE2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:00:02     2015-04-10 10:00:00
    COOKIE2 2015-04-10 10:10:00     url44   4       2015-04-10 10:03:04     2015-04-10 10:00:02
    COOKIE2 2015-04-10 10:50:01     url55   5       2015-04-10 10:10:00     2015-04-10 10:03:04
    COOKIE2 2015-04-10 10:50:05     url66   6       2015-04-10 10:50:01     2015-04-10 10:10:00
    COOKIE2 2015-04-10 11:00:00     url77   7       2015-04-10 10:50:05     2015-04-10 10:50:01


    last_1_time: 指定了往上第1行的值，default为&＃39;1970-01-01 00:00:00&＃39;  
                 COOKIE1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
                 COOKIE1第三行，往上1行值为第二行值，2015-04-10 10:00:02
                 COOKIE1第六行，往上1行值为第五行值，2015-04-10 10:50:01
    last_2_time: 指定了往上第2行的值，为指定默认值
                                                     COOKIE1第一行，往上2行为NULL
                                                     COOKIE1第二行，往上2行为NULL
                                                     COOKIE1第四行，往上2行为第二行值，2015-04-10 10:00:02
                                                     COOKIE1第七行，往上2行为第五行值，2015-04-10 10:50:01

LEAD

与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行&＃20540;
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认&＃20540;（当往下第n行为NULL时候，取默认&＃20540;，如不指定，则为NULL）

 取分组内排序后，截止到当前行，第一个&＃20540;


code_snippet_id="1677642" snippet_file_name="blog_20160510_3_7266809"  name="code" class="html">    SELECT COOKIEid, BY COOKIEid ORDER BY createtime) AS rn, 00:00:00&＃39;) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS next_1_time, OVER(PARTITION BY COOKIEid ORDER BY createtime) AS next_2_time url    rn       next_1_time             next_2_time ---------------------------------------------------------------- url1    1       2015-04-10 10:00:02     2015-04-10 10:03:04 url2    2       2015-04-10 10:03:04     2015-04-10 10:10:00 1url3   3       2015-04-10 10:10:00     2015-04-10 10:50:01 url4    4       2015-04-10 10:50:01     2015-04-10 10:50:05 url5    5       2015-04-10 10:50:05     2015-04-10 11:00:00 url6    6       2015-04-10 11:00:00     NULL url7    7       1970-01-01 00:00:00     NULL url11   1       2015-04-10 10:00:02     2015-04-10 10:03:04 url22   2       2015-04-10 10:03:04     2015-04-10 10:10:00 1url33  3       2015-04-10 10:10:00     2015-04-10 10:50:01 url44   4       2015-04-10 10:50:01     2015-04-10 10:50:05 url55   5       2015-04-10 10:50:05     2015-04-10 11:00:00 url66   6       2015-04-10 11:00:00     NULL url77   7       1970-01-01 00:00:00     NULL 过LAG是往上，LEAD是往下。

trong>FIRST_VALUE

SELECT COOKIEid, createtime, url, ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn, FIRST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS first1 FROM lxw1234; COOKIEid createtime url rn first1 --------------------------------------------------------- COOKIE1 2015-04-10 10:00:00 url1 1 url1 COOKIE1 2015-04-10 10:00:02 url2 2 url1 COOKIE1 2015-04-10 10:03:04 1url3 3 url1 COOKIE1 2015-04-10 10:10:00 url4 4 url1 COOKIE1 2015-04-10 10:50:01 url5 5 url1 COOKIE1 2015-04-10 10:50:05 url6 6 url1 COOKIE1 2015-04-10 11:00:00 url7 7 url1 COOKIE2 2015-04-10 10:00:00 url11 1 url11 COOKIE2 2015-04-10 10:00:02 url22 2 url11 COOKIE2 2015-04-10 10:03:04 1url33 3 url11 COOKIE2 2015-04-10 10:10:00 url44 4 url11 COOKIE2 2015-04-10 10:50:01 url55 5 url11 COOKIE2 2015-04-10 10:50:05 url66 6 url11 COOKIE2 2015-04-10 11:00:00 url77 7 url11

LAST_VALUE

取分组内排序后，截止到当前行，最后一个&＃20540;

SELECT COOKIEid, createtime, url, ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn, LAST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last1 FROM lxw1234; COOKIEid createtime url rn last1 ----------------------------------------------------------------- COOKIE1 2015-04-10 10:00:00 url1 1 url1 COOKIE1 2015-04-10 10:00:02 url2 2 url2 COOKIE1 2015-04-10 10:03:04 1url3 3 1url3 COOKIE1 2015-04-10 10:10:00 url4 4 url4 COOKIE1 2015-04-10 10:50:01 url5 5 url5 COOKIE1 2015-04-10 10:50:05 url6 6 url6 COOKIE1 2015-04-10 11:00:00 url7 7 url7 COOKIE2 2015-04-10 10:00:00 url11 1 url11 COOKIE2 2015-04-10 10:00:02 url22 2 url22 COOKIE2 2015-04-10 10:03:04 1url33 3 1url33 COOKIE2 2015-04-10 10:10:00 url44 4 url44 COOKIE2 2015-04-10 10:50:01 url55 5 url55 COOKIE2 2015-04-10 10:50:05 url66 6 url66 COOKIE2 2015-04-10 11:00:00 url77 7 url77

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果

SELECT COOKIEid, createtime, url, FIRST_VALUE(url) OVER(PARTITION BY COOKIEid) AS first2 FROM lxw1234; COOKIEid createtime url first2 ---------------------------------------------- COOKIE1 2015-04-10 10:00:02 url2 url2 COOKIE1 2015-04-10 10:00:00 url1 url2 COOKIE1 2015-04-10 10:03:04 1url3 url2 COOKIE1 2015-04-10 10:50:05 url6 url2 COOKIE1 2015-04-10 11:00:00 url7 url2 COOKIE1 2015-04-10 10:10:00 url4 url2 COOKIE1 2015-04-10 10:50:01 url5 url2 COOKIE2 2015-04-10 10:00:02 url22 url22 COOKIE2 2015-04-10 10:00:00 url11 url22 COOKIE2 2015-04-10 10:03:04 1url33 url22 COOKIE2 2015-04-10 10:50:05 url66 url22 COOKIE2 2015-04-10 11:00:00 url77 url22 COOKIE2 2015-04-10 10:10:00 url44 url22 COOKIE2 2015-04-10 10:50:01 url55 url22 SELECT COOKIEid, createtime, url, LAST_VALUE(url) OVER(PARTITION BY COOKIEid) AS last2 FROM lxw1234; COOKIEid createtime url last2 ---------------------------------------------- COOKIE1 2015-04-10 10:00:02 url2 url5 COOKIE1 2015-04-10 10:00:00 url1 url5 COOKIE1 2015-04-10 10:03:04 1url3 url5 COOKIE1 2015-04-10 10:50:05 url6 url5 COOKIE1 2015-04-10 11:00:00 url7 url5 COOKIE1 2015-04-10 10:10:00 url4 url5 COOKIE1 2015-04-10 10:50:01 url5 url5 COOKIE2 2015-04-10 10:00:02 url22 url55 COOKIE2 2015-04-10 10:00:00 url11 url55 COOKIE2 2015-04-10 10:03:04 1url33 url55 COOKIE2 2015-04-10 10:50:05 url66 url55 COOKIE2 2015-04-10 11:00:00 url77 url55 COOKIE2 2015-04-10 10:10:00 url44 url55 COOKIE2 2015-04-10 10:50:01 url55 url55

如果想要取分组内排序后最后一个&＃20540;，则需要变通一下：

SELECT COOKIEid, createtime, url, ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn, LAST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last1, FIRST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime DESC) AS last2 FROM lxw1234 ORDER BY COOKIEid,createtime; COOKIEid createtime url rn last1 last2 ------------------------------------------------------------- COOKIE1 2015-04-10 10:00:00 url1 1 url1 url7 COOKIE1 2015-04-10 10:00:02 url2 2 url2 url7 COOKIE1 2015-04-10 10:03:04 1url3 3 1url3 url7 COOKIE1 2015-04-10 10:10:00 url4 4 url4 url7 COOKIE1 2015-04-10 10:50:01 url5 5 url5 url7 COOKIE1 2015-04-10 10:50:05 url6 6 url6 url7 COOKIE1 2015-04-10 11:00:00 url7 7 url7 url7 COOKIE2 2015-04-10 10:00:00 url11 1 url11 url77 COOKIE2 2015-04-10 10:00:02 url22 2 url22 url77 COOKIE2 2015-04-10 10:03:04 1url33 3 1url33 url77 COOKIE2 2015-04-10 10:10:00 url44 4 url44 url77 COOKIE2 2015-04-10 10:50:01 url55 5 url55 url77 COOKIE2 2015-04-10 10:50:05 url66 6 url66 url77 COOKIE2 2015-04-10 11:00:00 url77 7 url77 url77

hive

apache

写下你的评论吧 !

吐个槽吧,看都看了

会员登录 | 用户注册

推荐阅读

tomcat
Java EE SDK 安装指南及常见问题解决

本文详细介绍了如何正确安装Java EE SDK，并解决在安装过程中可能遇到的问题，特别是关于servlet代码在Apache Tomcat 10中无法运行的情况。 ... [详细]

蜡笔小新   2024-12-18 12:09:19

server
Web与游戏开发的主要差异

本文探讨了Web开发与游戏开发之间的主要区别，旨在帮助开发者更好地理解两种开发领域的特性和需求。文章基于作者的实际经验和网络资料整理而成。 ... [详细]

蜡笔小新   2024-12-18 08:26:30

grep
在Linux系统上构建Web服务器的详细步骤

本文详细介绍了如何在Linux系统上搭建Web服务器的过程，包括安装Apache、PHP和MySQL等关键组件，以及遇到的一些常见问题及其解决方案。 ... [详细]

蜡笔小新   2024-12-17 19:02:43

linux
ThinkPHP6多数据库部署指南

本文将详细介绍如何在ThinkPHP6框架中实现多数据库的部署，包括读写分离的策略，以及如何通过负载均衡和MySQL同步技术优化数据库性能。 ... [详细]

蜡笔小新   2024-12-17 18:59:28

linux
解析APM：提升用户体验的关键工具

APM（Application Performance Management，应用性能管理）对于提供互联网服务的企业至关重要。本文将深入探讨APM如何帮助识别和解决导致用户流失的技术问题，以及它在提升整体用户体验方面的作用。 ... [详细]

蜡笔小新   2024-12-17 15:08:57

linux
Maven初学者指南：配置阿里云镜像加速项目构建

在使用Maven进行项目构建时，由于依赖库的下载速度慢常常让人感到沮丧，这直接影响了开发效率和学习热情。幸运的是，阿里云提供了一个快速的国内镜像服务，能够显著提升Maven项目的构建速度。 ... [详细]

蜡笔小新   2024-12-17 13:11:52

linux
利用Scala与Spark实现业务逻辑测试的自动化方案

本文介绍了一款基于Spark和Scala开发的应用程序，该应用通过配置单元作为输入，经过Spark处理层进行批处理操作，最终数据存储于Cassandra数据库中。文章探讨了如何实现该应用的测试自动化，包括业务逻辑测试、集成测试、用户验收测试（UAT）及回归测试。 ... [详细]

蜡笔小新   2024-12-17 12:28:24

linux
使用org.apache.commons.math3.linear.ArrayRealVector.getEntry()方法及代码实例

本文介绍了如何在Java中使用org.apache.commons.math3.linear.ArrayRealVector.getEntry()方法，并提供了多个实际应用中的代码示例。 ... [详细]

蜡笔小新   2024-12-17 12:06:45

port
Shrio03Authenticator（认证）、配置多个Realm、ModularRealmAuthenticator（认证实现类）、AuthenticationStrategy（认证策略）

1Authenticator简介1.1层次结构图1.2作用职责是验证用户帐号，是ShiroAPI中身份验证核心的入口点；接口中声明的authenticate方法就是用来实现认证逻辑 ... [详细]

蜡笔小新   2024-12-17 11:37:08

port
详解Linux系统启动过程及/etc/rc.d与/etc/rc.d/init.d目录关系

本文深入探讨了Linux系统启动流程、运行级别及其与/etc/rc.d和/etc/rc.d/init.d目录的关联，旨在帮助读者理解系统启动时各脚本和服务的加载机制。 ... [详细]

蜡笔小新   2024-12-16 12:18:02

server
window下kafka的安装以及测试

目录一、安装JDK（需要安装依赖javaJDK）二、安装Kafka三、测试参考在Windows系统上安装消息队列kafka一、安装JDKÿ ... [详细]

蜡笔小新   2024-12-16 12:01:36

tomcat
Java EE CDI：解决依赖关系冲突的实例

在本教程中，我们将探讨如何在Java EE的CDI（上下文和依赖注入）框架中有效解决依赖关系的冲突问题。通过学习如何使用限定符，您将能够为应用程序的不同客户端提供多种接口实现，并确保每个客户端都能正确调用其所需的实现。 ... [详细]

蜡笔小新   2024-12-16 03:05:02

tomcat
深入理解Java MySQL数据库连接池实现

尽管利用Apache Commons DBCP等工具可以轻松构建数据库连接池，但本文详细解析了数据库连接池的工作机制，提供了详尽的注释，帮助开发者深入理解其内部运作。这不仅有助于提高数据库操作的效率，还能增强应用程序的稳定性和性能。 ... [详细]

蜡笔小新   2024-12-15 22:02:58

server
BugFree 3.0.3 服务器端部署指南

本文详细介绍了如何在 Windows Server 2008 R2 64位操作系统上配置 BugFree 3.0.3 的服务器环境，包括所需软件的安装与配置步骤。 ... [详细]

蜡笔小新   2024-12-15 20:45:50

tomcat
理解ServletContext的作用与应用

ServletContext接口在Java Web开发中扮演着重要角色，它提供了一种方式来获取关于整个Web应用程序的信息。通过ServletContext，开发者可以访问初始化参数、共享数据以及应用资源。 ... [详细]

蜡笔小新   2024-12-15 19:48:20

Happy_Kelly尊荣

这个家伙很懒，什么也没留下！

Tags | 热门标签

shell

4层

tomcat

stdout

unix

centos

docker

syslog

sudo

tengine

压力测试

cron

kubectl

grafana

jenkins

ubuntu

log4j

dns

sftp

linux

debian

server

colors

centos7

grep

fabric

7层

awk

port

crontab

RankList | 热门文章

1Android开源在线音乐播放器——波尼音乐

2php 如何实现文字替换

3ASP.net连接mysql数据库（使用MySql.Data.dll）

4开源库glog使用

5表单的树状关联（转载虾皮）

6关于jquery获取select选中的值的信息

7易语言如何制作语音聊天机器人

8荣耀畅玩8a中添加桌面插件具体操作步骤

9创业公司需要怎样的技术

10C#多线程（基础）

11请问手机屏幕上的时间日期怎么设置？

12【MySQL】力扣数据库题（二）第二高的薪水——刷穿力扣

13Implement configurable cursor shapes and color

14TypeError: sequence item 0: expected str instance, int found [python] list/str的互转问题

15NSGAII 算法详解