当前位置: 开发笔记 > 运维 > 正文

Hive分析窗口函数(四)LAG,LEAD,FIRST_VALUE,LAST_VALUE

作者：Happy_Kelly尊荣 | 来源：互联网 | 2018-05-27 03:12

1.LAG功能是什么？2.LEAD与LAG功能有什么相的地方那个？3.FIRST_VALUE与LAST_VALUE分别完成什么功能？继续学习这四个分析函数。注意：这几个函数不支持WINDOW子句。Hive版本为apache-hive-0.13.1数据准备：水电费cookie1,2015-04-1010:00:02,url2

1.LAG功能是什么？ 2.LEAD与LAG功能有什么相的地方那个？ 3.FIRST_VALUE与LAST_VALUE分别完成什么功能？继续学习这四个分析函数。注意：这几个函数不支持WINDOW子句。 Hive版本为 apache-hive-0.13.1 数据准备：水电费 COOKIE1,2015-04-10 10:00:02,url2

1.LAG功能是什么？
2.LEAD与LAG功能有什么相&＃20284;的地方那个？

3.FIRST_VALUE与LAST_VALUE分别完成什么功能？

继续学习这四个分析函数。注意：这几个函数不支持WINDOW子句。 Hive版本为 apache-hive-0.13.1 数据准备：

水电费

    COOKIE1,2015-04-10 10:00:02,url2
    COOKIE1,2015-04-10 10:00:00,url1
    COOKIE1,2015-04-10 10:03:04,1url3
    COOKIE1,2015-04-10 10:50:05,url6
    COOKIE1,2015-04-10 11:00:00,url7
    COOKIE1,2015-04-10 10:10:00,url4
    COOKIE1,2015-04-10 10:50:01,url5
    COOKIE2,2015-04-10 10:00:02,url22
    COOKIE2,2015-04-10 10:00:00,url11
    COOKIE2,2015-04-10 10:03:04,1url33
    COOKIE2,2015-04-10 10:50:05,url66
    COOKIE2,2015-04-10 11:00:00,url77
    COOKIE2,2015-04-10 10:10:00,url44
    COOKIE2,2015-04-10 10:50:01,url55

    CREATE EXTERNAL TABLE lxw1234 (
    COOKIEid string,
    createtime string,  --页面访问时间
    url STRING       --被访问页面
    ) ROW FORMAT DELIMITED
    FIELDS TERMINATED BY &＃39;,&＃39;
    stored as textfile location &＃39;/tmp/lxw11/&＃39;;


    hive> select * from lxw1234;
    OK
    COOKIE1 2015-04-10 10:00:02     url2
    COOKIE1 2015-04-10 10:00:00     url1
    COOKIE1 2015-04-10 10:03:04     1url3
    COOKIE1 2015-04-10 10:50:05     url6
    COOKIE1 2015-04-10 11:00:00     url7
    COOKIE1 2015-04-10 10:10:00     url4
    COOKIE1 2015-04-10 10:50:01     url5
    COOKIE2 2015-04-10 10:00:02     url22
    COOKIE2 2015-04-10 10:00:00     url11
    COOKIE2 2015-04-10 10:03:04     1url33
    COOKIE2 2015-04-10 10:50:05     url66
    COOKIE2 2015-04-10 11:00:00     url77
    COOKIE2 2015-04-10 10:10:00     url44
    COOKIE2 2015-04-10 10:50:01     url55

LAG

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行&＃20540;
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认&＃20540;（当往上第n行为NULL时候，取默认&＃20540;，如不指定，则为NULL）

    SELECT COOKIEid,
    createtime,
    url,
    ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn,
    LAG(createtime,1,&＃39;1970-01-01 00:00:00&＃39;) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last_1_time,
    LAG(createtime,2) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last_2_time
    FROM lxw1234;


    COOKIEid createtime             url    rn       last_1_time             last_2_time
    -------------------------------------------------------------------------------------------
    COOKIE1 2015-04-10 10:00:00     url1    1       1970-01-01 00:00:00     NULL
    COOKIE1 2015-04-10 10:00:02     url2    2       2015-04-10 10:00:00     NULL
    COOKIE1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:00:02     2015-04-10 10:00:00
    COOKIE1 2015-04-10 10:10:00     url4    4       2015-04-10 10:03:04     2015-04-10 10:00:02
    COOKIE1 2015-04-10 10:50:01     url5    5       2015-04-10 10:10:00     2015-04-10 10:03:04
    COOKIE1 2015-04-10 10:50:05     url6    6       2015-04-10 10:50:01     2015-04-10 10:10:00
    COOKIE1 2015-04-10 11:00:00     url7    7       2015-04-10 10:50:05     2015-04-10 10:50:01
    COOKIE2 2015-04-10 10:00:00     url11   1       1970-01-01 00:00:00     NULL
    COOKIE2 2015-04-10 10:00:02     url22   2       2015-04-10 10:00:00     NULL
    COOKIE2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:00:02     2015-04-10 10:00:00
    COOKIE2 2015-04-10 10:10:00     url44   4       2015-04-10 10:03:04     2015-04-10 10:00:02
    COOKIE2 2015-04-10 10:50:01     url55   5       2015-04-10 10:10:00     2015-04-10 10:03:04
    COOKIE2 2015-04-10 10:50:05     url66   6       2015-04-10 10:50:01     2015-04-10 10:10:00
    COOKIE2 2015-04-10 11:00:00     url77   7       2015-04-10 10:50:05     2015-04-10 10:50:01


    last_1_time: 指定了往上第1行的值，default为&＃39;1970-01-01 00:00:00&＃39;  
                 COOKIE1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
                 COOKIE1第三行，往上1行值为第二行值，2015-04-10 10:00:02
                 COOKIE1第六行，往上1行值为第五行值，2015-04-10 10:50:01
    last_2_time: 指定了往上第2行的值，为指定默认值
                                                     COOKIE1第一行，往上2行为NULL
                                                     COOKIE1第二行，往上2行为NULL
                                                     COOKIE1第四行，往上2行为第二行值，2015-04-10 10:00:02
                                                     COOKIE1第七行，往上2行为第五行值，2015-04-10 10:50:01

LEAD

与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行&＃20540;
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认&＃20540;（当往下第n行为NULL时候，取默认&＃20540;，如不指定，则为NULL）

 取分组内排序后，截止到当前行，第一个&＃20540;


code_snippet_id="1677642" snippet_file_name="blog_20160510_3_7266809"  name="code" class="html">    SELECT COOKIEid, BY COOKIEid ORDER BY createtime) AS rn, 00:00:00&＃39;) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS next_1_time, OVER(PARTITION BY COOKIEid ORDER BY createtime) AS next_2_time url    rn       next_1_time             next_2_time ---------------------------------------------------------------- url1    1       2015-04-10 10:00:02     2015-04-10 10:03:04 url2    2       2015-04-10 10:03:04     2015-04-10 10:10:00 1url3   3       2015-04-10 10:10:00     2015-04-10 10:50:01 url4    4       2015-04-10 10:50:01     2015-04-10 10:50:05 url5    5       2015-04-10 10:50:05     2015-04-10 11:00:00 url6    6       2015-04-10 11:00:00     NULL url7    7       1970-01-01 00:00:00     NULL url11   1       2015-04-10 10:00:02     2015-04-10 10:03:04 url22   2       2015-04-10 10:03:04     2015-04-10 10:10:00 1url33  3       2015-04-10 10:10:00     2015-04-10 10:50:01 url44   4       2015-04-10 10:50:01     2015-04-10 10:50:05 url55   5       2015-04-10 10:50:05     2015-04-10 11:00:00 url66   6       2015-04-10 11:00:00     NULL url77   7       1970-01-01 00:00:00     NULL 过LAG是往上，LEAD是往下。

trong>FIRST_VALUE

SELECT COOKIEid, createtime, url, ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn, FIRST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS first1 FROM lxw1234; COOKIEid createtime url rn first1 --------------------------------------------------------- COOKIE1 2015-04-10 10:00:00 url1 1 url1 COOKIE1 2015-04-10 10:00:02 url2 2 url1 COOKIE1 2015-04-10 10:03:04 1url3 3 url1 COOKIE1 2015-04-10 10:10:00 url4 4 url1 COOKIE1 2015-04-10 10:50:01 url5 5 url1 COOKIE1 2015-04-10 10:50:05 url6 6 url1 COOKIE1 2015-04-10 11:00:00 url7 7 url1 COOKIE2 2015-04-10 10:00:00 url11 1 url11 COOKIE2 2015-04-10 10:00:02 url22 2 url11 COOKIE2 2015-04-10 10:03:04 1url33 3 url11 COOKIE2 2015-04-10 10:10:00 url44 4 url11 COOKIE2 2015-04-10 10:50:01 url55 5 url11 COOKIE2 2015-04-10 10:50:05 url66 6 url11 COOKIE2 2015-04-10 11:00:00 url77 7 url11

LAST_VALUE

取分组内排序后，截止到当前行，最后一个&＃20540;

SELECT COOKIEid, createtime, url, ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn, LAST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last1 FROM lxw1234; COOKIEid createtime url rn last1 ----------------------------------------------------------------- COOKIE1 2015-04-10 10:00:00 url1 1 url1 COOKIE1 2015-04-10 10:00:02 url2 2 url2 COOKIE1 2015-04-10 10:03:04 1url3 3 1url3 COOKIE1 2015-04-10 10:10:00 url4 4 url4 COOKIE1 2015-04-10 10:50:01 url5 5 url5 COOKIE1 2015-04-10 10:50:05 url6 6 url6 COOKIE1 2015-04-10 11:00:00 url7 7 url7 COOKIE2 2015-04-10 10:00:00 url11 1 url11 COOKIE2 2015-04-10 10:00:02 url22 2 url22 COOKIE2 2015-04-10 10:03:04 1url33 3 1url33 COOKIE2 2015-04-10 10:10:00 url44 4 url44 COOKIE2 2015-04-10 10:50:01 url55 5 url55 COOKIE2 2015-04-10 10:50:05 url66 6 url66 COOKIE2 2015-04-10 11:00:00 url77 7 url77

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果

SELECT COOKIEid, createtime, url, FIRST_VALUE(url) OVER(PARTITION BY COOKIEid) AS first2 FROM lxw1234; COOKIEid createtime url first2 ---------------------------------------------- COOKIE1 2015-04-10 10:00:02 url2 url2 COOKIE1 2015-04-10 10:00:00 url1 url2 COOKIE1 2015-04-10 10:03:04 1url3 url2 COOKIE1 2015-04-10 10:50:05 url6 url2 COOKIE1 2015-04-10 11:00:00 url7 url2 COOKIE1 2015-04-10 10:10:00 url4 url2 COOKIE1 2015-04-10 10:50:01 url5 url2 COOKIE2 2015-04-10 10:00:02 url22 url22 COOKIE2 2015-04-10 10:00:00 url11 url22 COOKIE2 2015-04-10 10:03:04 1url33 url22 COOKIE2 2015-04-10 10:50:05 url66 url22 COOKIE2 2015-04-10 11:00:00 url77 url22 COOKIE2 2015-04-10 10:10:00 url44 url22 COOKIE2 2015-04-10 10:50:01 url55 url22 SELECT COOKIEid, createtime, url, LAST_VALUE(url) OVER(PARTITION BY COOKIEid) AS last2 FROM lxw1234; COOKIEid createtime url last2 ---------------------------------------------- COOKIE1 2015-04-10 10:00:02 url2 url5 COOKIE1 2015-04-10 10:00:00 url1 url5 COOKIE1 2015-04-10 10:03:04 1url3 url5 COOKIE1 2015-04-10 10:50:05 url6 url5 COOKIE1 2015-04-10 11:00:00 url7 url5 COOKIE1 2015-04-10 10:10:00 url4 url5 COOKIE1 2015-04-10 10:50:01 url5 url5 COOKIE2 2015-04-10 10:00:02 url22 url55 COOKIE2 2015-04-10 10:00:00 url11 url55 COOKIE2 2015-04-10 10:03:04 1url33 url55 COOKIE2 2015-04-10 10:50:05 url66 url55 COOKIE2 2015-04-10 11:00:00 url77 url55 COOKIE2 2015-04-10 10:10:00 url44 url55 COOKIE2 2015-04-10 10:50:01 url55 url55

如果想要取分组内排序后最后一个&＃20540;，则需要变通一下：

SELECT COOKIEid, createtime, url, ROW_NUMBER() OVER(PARTITION BY COOKIEid ORDER BY createtime) AS rn, LAST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime) AS last1, FIRST_VALUE(url) OVER(PARTITION BY COOKIEid ORDER BY createtime DESC) AS last2 FROM lxw1234 ORDER BY COOKIEid,createtime; COOKIEid createtime url rn last1 last2 ------------------------------------------------------------- COOKIE1 2015-04-10 10:00:00 url1 1 url1 url7 COOKIE1 2015-04-10 10:00:02 url2 2 url2 url7 COOKIE1 2015-04-10 10:03:04 1url3 3 1url3 url7 COOKIE1 2015-04-10 10:10:00 url4 4 url4 url7 COOKIE1 2015-04-10 10:50:01 url5 5 url5 url7 COOKIE1 2015-04-10 10:50:05 url6 6 url6 url7 COOKIE1 2015-04-10 11:00:00 url7 7 url7 url7 COOKIE2 2015-04-10 10:00:00 url11 1 url11 url77 COOKIE2 2015-04-10 10:00:02 url22 2 url22 url77 COOKIE2 2015-04-10 10:03:04 1url33 3 1url33 url77 COOKIE2 2015-04-10 10:10:00 url44 4 url44 url77 COOKIE2 2015-04-10 10:50:01 url55 5 url55 url77 COOKIE2 2015-04-10 10:50:05 url66 6 url66 url77 COOKIE2 2015-04-10 11:00:00 url77 7 url77 url77

hive

apache

写下你的评论吧 !

吐个槽吧,看都看了

会员登录 | 用户注册

推荐阅读

log4j
解决Hive启动时权限被拒问题

本文详细分析了Hive在启动过程中遇到的权限拒绝错误，并提供了多种解决方案，包括调整文件权限、用户组设置以及环境变量配置等。 ... [详细]

蜡笔小新   2024-12-26 19:14:29

apache
HDFS与Hive中的数据存储和管理机制

本文探讨了Hive中内部表和外部表的区别及其在HDFS上的路径映射，详细解释了两者的创建、加载及删除操作，并提供了查看表详细信息的方法。通过对比这两种表类型，帮助读者理解如何更好地管理和保护数据。 ... [详细]

蜡笔小新   2024-12-27 20:21:48

touch
网络链路质量监控：Smokeping部署与配置

本文详细介绍了如何在Linux系统上安装和配置Smokeping，以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装，确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]

蜡笔小新   2024-12-27 19:31:05

tomcat
Dockerfile 编写与 Docker 网络配置详解

本文详细介绍了 Dockerfile 的编写方法及其在网络配置中的应用，涵盖基础指令、镜像构建与发布流程，并深入探讨了 Docker 的默认网络、容器互联及自定义网络的实现。 ... [详细]

蜡笔小新   2024-12-27 17:31:41

linux
开源软件：新时代的商业机遇与挑战

在哈佛大学商学院举行的Cyberposium大会上，专家们深入探讨了开源软件的崛起及其对企业市场的影响。会议指出，开源软件不仅为企业提供了新的增长机会，还促进了软件质量的提升和创新。 ... [详细]

蜡笔小新   2024-12-27 14:49:56

ubuntu
在Ubuntu 16.04 LTS上配置Qt Creator开发环境

本文详细介绍了如何在Ubuntu 16.04 LTS系统中安装和配置Qt Creator，涵盖了从下载到安装的全过程，并提供了常见问题的解决方案。 ... [详细]

蜡笔小新   2024-12-27 13:19:53

tomcat
MyBatis：深入解析与应用

在当前众多持久层框架中，MyBatis（前身为iBatis）凭借其轻量级、易用性和对SQL的直接支持，成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]

蜡笔小新   2024-12-27 12:17:16

tomcat
如何顺利使用Eclipse进行Struts开发

作为一名新手，您可能会在初次尝试使用Eclipse进行Struts开发时遇到一些挑战。本文将为您提供详细的指导和解决方案，帮助您克服常见的配置和操作难题。 ... [详细]

蜡笔小新   2024-12-27 09:57:58

apache
如何在PHPCMS V9中实现多站点功能并配置独立域名与动态URL

本文介绍如何在PHPCMS V9中创建和管理多个站点，包括配置独立域名、设置动态URL，并确保各子站能够正常运行。我们将详细讲解从新建站点到最终配置路由的每一步骤。 ... [详细]

蜡笔小新   2024-12-27 05:15:58

apache
解析Java中Text.splitText()方法及其应用场景

本文详细介绍了Java中org.w3c.dom.Text类的splitText()方法，通过多个代码示例展示了其实际应用。该方法用于将文本节点在指定位置拆分为两个节点，并保持在文档树中。 ... [详细]

蜡笔小新   2024-12-26 18:31:42

apache
优化Kafka流状态存储查询的最佳实践

本文探讨了如何优化和正确配置Kafka Streams应用程序以确保准确的状态存储查询。通过调整配置参数和代码逻辑，可以有效解决数据不一致的问题。 ... [详细]

蜡笔小新   2024-12-26 18:17:14

port
Apache Jena 中 Txn.executeWrite 方法详解与代码示例

本文详细介绍了 Apache Jena 库中的 Txn.executeWrite 方法，通过多个实际代码示例展示了其在不同场景下的应用，帮助开发者更好地理解和使用该方法。 ... [详细]

蜡笔小新   2024-12-26 17:55:52

ssh
网络运维工程师的前景与薪酬分析

网络运维工程师负责确保企业IT基础设施的稳定运行，保障业务连续性和数据安全。他们需要具备多种技能，包括搭建和维护网络环境、监控系统性能、处理突发事件等。本文将探讨网络运维工程师的职业前景及其平均薪酬水平。 ... [详细]

蜡笔小新   2024-12-26 14:35:04

apache
PHP 5.5.0rc1 发布：深入解析 Zend OPcache

2013年5月9日，PHP官方发布了PHP 5.5.0rc1和PHP 5.4.15正式版，这两个版本均支持64位环境。本文将详细介绍Zend OPcache的功能及其在Windows环境下的配置与测试。 ... [详细]

蜡笔小新   2024-12-26 12:56:20

apache
深入解析 org.apache.xmlbeans.SchemaType.getBaseEnumType() 方法及其应用

本文详细介绍了 Java 中 org.apache.xmlbeans.SchemaType 类的 getBaseEnumType() 方法，提供了多个代码示例，并解释了其在不同场景下的使用方法。 ... [详细]

蜡笔小新   2024-12-26 11:46:55

Happy_Kelly尊荣

这个家伙很懒，什么也没留下！

Tags | 热门标签

syslog

service

cron

debian

负载均衡

路由器

k8s

zsh

docker

apache

centos7

shell

linux

devops

容器

运维

curl

colors

grep

touch

unix

port

crontab

tengine

fabric

ubuntu

log4j

nginx

tomcat

ssh

RankList | 热门文章

1基于json的jquery地区联动效果代码

2JavaScript实现页面滚动图片加载(仿lazyload效果)

3读jQuery之十三添加事件和删除事件的核心方法

4jQuery页面滚动浮动层智能定位实例代码

5关于setInterval、setTimeout在jQuery中的使用注意事项

6推荐10个超棒的jQuery工具提示插件

7Javascript insertAfter() 实现函数代码

8基于jquery的$.ajax async使用

9jquery 笔记事件

10JQUERY1.6 使用方法四检测浏览器

11JQuery操作表格(隔行着色,高亮显示,筛选数据)

12jQuery 自定义函数写法分享

13JQuery select控件的相关操作实现代码

14关于锚点跳转及jQuery下相关操作与插件

15基于jquery DOM写的类似微博发布的效果