首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

MySQL分区表和HBase的关系是什么

作者：lucky燕子加加加 | 来源：互联网 | 2023-05-19 11:45
MySQL分区表和HBase的关系是什么，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单

MySQL分区表和HBase的关系是什么，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

　　创建 MySQL 分区数据

　　DROP TABLE ord_order;

　　-- 创建订单分区表

　　CREATE TABLE ord_order(

　　order_id BIGINT NOT NULL AUTO_INCREMENT COMMENT &＃39;订单ID&＃39;,

　　user_id INT NOT NULL COMMENT &＃39;用户ID&＃39;,

　　goods_id INT NOT NULL COMMENT &＃39;商品ID&＃39;,

　　order_price INT NOT NULL DEFAULT 0 COMMENT &＃39;订单实际价格(分)&＃39;,

　　create_time DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT &＃39;创建时间&＃39;,

　　PRIMARY KEY(order_id, create_time)

　　)

　　PARTITION BY LIST (YEAR(create_time)*100 + MONTH(create_time))

　　(

　　PARTITION p201601 VALUES IN (201601),

　　PARTITION p201602 VALUES IN (201602),

　　PARTITION p201603 VALUES IN (201603),

　　PARTITION p201604 VALUES IN (201604),

　　PARTITION p201605 VALUES IN (201605),

　　PARTITION p201606 VALUES IN (201606),

　　PARTITION p201607 VALUES IN (201607),

　　PARTITION p201608 VALUES IN (201608),

　　PARTITION p201609 VALUES IN (201609),

　　PARTITION p201610 VALUES IN (201610),

　　PARTITION p201611 VALUES IN (201611),

　　PARTITION p201612 VALUES IN (201612)

　　);

　　-- 插入相关数据

　　INSERT INTO ord_order VALUES

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-01-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-01-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-01-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-01-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-01-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-02-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-02-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-02-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-02-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-02-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-03-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-03-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-03-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-03-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-03-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-04-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-04-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-04-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-04-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-04-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-05-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-05-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-05-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-05-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-05-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-06-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-06-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-06-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-06-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-06-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-07-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-07-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-07-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-07-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-07-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-08-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-08-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-08-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-08-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-08-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-09-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-09-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-09-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-09-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-09-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-10-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-10-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-10-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-10-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-10-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-11-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-11-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-11-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-11-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-11-13 05:00:50&＃39;),

　　(NULL, 10000001, 11111111, 1000, &＃39;2016-12-13 01:00:10&＃39;),

　　(NULL, 10000001, 11111112, 2000, &＃39;2016-12-13 02:00:20&＃39;),

　　(NULL, 10000001, 11111113, 3000, &＃39;2016-12-13 03:00:30&＃39;),

　　(NULL, 10000001, 11111114, 4000, &＃39;2016-12-13 04:00:40&＃39;),

　　(NULL, 10000001, 11111115, 5000, &＃39;2016-12-13 05:00:50&＃39;);

　　-- 查看分区p201601数据

　　SELECT * FROM ord_order PARTITION(p201601);

　　-- 组合成的 row key

　　SELECT CONCAT(user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id)

　　FROM ord_order PARTITION(p201601);

　　结合HBase咯

　　创建HBase表 ord_order

　　由于版本兼容的问题，这边我需要先创建好HBase对应的表。不然会报不能自动创建 column family 的错误。

　　使用 hbase shell 创建 ord_order 表

　hbase(main):033:0> create &＃39;ord_order&＃39;, {NAME => &＃39;cf1&＃39;}

　　使用 Sqoop 将MySQL的ord_order 表的 p201601 分区的数据导入HBase表。

　　/usr/local/sqoop/bin/sqoop import \

　　--connect jdbc:mysql://192.168.137.11:3306/test \

　　--username HH \

　　--password oracle \

　　--query &＃39;SELECT CONCAT(user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id) AS order_id, order_price, create_time FROM ord_order PARTITION(p201601) WHERE $CONDITIONS&＃39; \

　　--hbase-table ord_order \

　　--hbase-create-table \

　　--hbase-row-key order_id \

　　--split-by order_id \

　　--column-family cf1 \

　　-m 1

　　导入成功后就可以在MySQL上面将相关分区删除，并且创建之后需要的分区:

　　ALTER TABLE ord_order

　　ADD PARTITION (PARTITION p201701 VALUES IN (201701));

　　ALTER TABLE ord_order DROP PARTITION p201601;

　　查看Hbase中导入的数据

　　hbase(main):001:0> scan &＃39;ord_order&＃39;

　　ROW COLUMN+CELL

　　10000001854736755011111115 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 05:00:50.0

　　10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000

　　10000001854737116011111114 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 04:00:40.0

　　10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000

　　10000001854737477011111113 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 03:00:30.0

　　10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000

　　10000001854737838011111112 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 02:00:20.0

　　10000001854737838011111112 column=cf1:order_price, timestamp=1479224942888, value=2000

　　10000001854738199011111111 column=cf1:create_time, timestamp=1479224942888, value=2016-01-13 01:00:10.0

　　10000001854738199011111111 column=cf1:order_price, timestamp=1479224942888, value=1000

　　5 row(s) in 0.5390 seconds

　　ROW KEY 设计详解

　　HBase中的row key为 user_id, 10000000000-UNIX_TIMESTAMP(create_time), goods_id 3个字段组成。

　　这边值得注意的是 10000000000-UNIX_TIMESTAMP(create_time), 这样设计的原因是为了让订单能按时间的倒序排列, 这样就符合 越新的数据越先显示

　　如: 现在需要对用户 10000001 的订单进行分页, 每页两条数据, 并且按时间的倒序排序(最新订单最先显示)

　　hbase(main):003:0> scan &＃39;ord_order&＃39;, {COLUMNS=>[&＃39;cf1:order_price&＃39;], ROWPREFIXFILTER=>&＃39;10000001&＃39;, LIMIT=>2}

　　ROW COLUMN+CELL

　　10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000

　　10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000

　　点击下一页的数据:

　　hbase(main):004:0> scan &＃39;ord_order&＃39;, {COLUMNS=>[&＃39;cf1:order_price&＃39;], LIMIT=>3, STARTROW=>&＃39;10000001854737116011111114&＃39;}

　　ROW COLUMN+CELL

　　10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000

　　10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000

　　10000001854737838011111112 column=cf1:order_price, timestamp=1479224942888, value=2000

　　3 row(s) in 0.0260 seconds

　　上面获得了三行数据，在实际展现的时候去除第一行就好了，实际展示如下:

　　10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000

　　10000001854737838011111112 column=cf1:order_price, timestamp=1479224942888, value=2000

　　点击上一页

　　hbase(main):008:0> scan &＃39;ord_order&＃39;, {COLUMNS=>[&＃39;cf1:order_price&＃39;], LIMIT=>3, STARTROW=>&＃39;10000001854737477011111113&＃39;, REVERSED=>true}

　　ROW COLUMN+CELL

　　10000001854737477011111113 column=cf1:order_price, timestamp=1479224942888, value=3000

　　10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000

　　10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000

　　3 row(s) in 0.0640 seconds

　　上面同样获得了三条数据，我们需要去除第一行，让后按数据集合倒序显示

　　10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000

　　10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000

　　↓↓↓↓↓ 上面两行是集合数据 下面两行数倒序遍历集合的数据(也是最终显示的数据)

　　10000001854736755011111115 column=cf1:order_price, timestamp=1479224942888, value=5000

　　10000001854737116011111114 column=cf1:order_price, timestamp=1479224942888, value=4000

关于MySQL分区表和HBase的关系是什么问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注编程笔记行业资讯频道了解更多相关知识。


推荐阅读
  • ip

    Go Cobra命令行工具入门教程

    Go Cobra命令行工具入门教程
    本文介绍了Go语言实现的命令行工具Cobra的基本概念、安装方法和入门实践。Cobra被广泛应用于各种项目中，如Kubernetes、Hugo和Github CLI等。通过使用Cobra，我们可以快速创建命令行工具，适用于写测试脚本和各种服务的Admin CLI。文章还通过一个简单的demo演示了Cobra的使用方法。 ... [详细]
  • ip

    Java猜拳小游戏代码

    本文介绍了一个Java猜拳小游戏的代码，通过使用Scanner类获取用户输入的拳的数字，并随机生成计算机的拳，然后判断胜负。该游戏可以选择剪刀、石头、布三种拳，通过比较两者的拳来决定胜负。 ... [详细]
  • ip

    Java太阳系小游戏分析和源码详解

    Java太阳系小游戏分析和源码详解
    本文介绍了一个基于Java的太阳系小游戏的分析和源码详解。通过对面向对象的知识的学习和实践，作者实现了太阳系各行星绕太阳转的效果。文章详细介绍了游戏的设计思路和源码结构，包括工具类、常量、图片加载、面板等。通过这个小游戏的制作，读者可以巩固和应用所学的知识，如类的继承、方法的重载与重写、多态和封装等。 ... [详细]
  • object

    Java容器中的compareto方法排序原理解析

    Java容器中的compareto方法排序原理解析
    本文从源码解析Java容器中的compareto方法的排序原理，讲解了在使用数组存储数据时的限制以及存储效率的问题。同时提到了Redis的五大数据结构和list、set等知识点，回忆了作者大学时代的Java学习经历。文章以作者做的思维导图作为目录，展示了整个讲解过程。 ... [详细]
  • object

    关于cuowu类的错误提示和使用AdjustmentListener的问题

    本文讨论了一个关于cuowu类的问题，作者在使用cuowu类时遇到了错误提示和使用AdjustmentListener的问题。文章提供了16个解决方案，并给出了两个可能导致错误的原因。 ... [详细]
  • jar

    Golang如何使用Cookie跟踪位置

    关键词：Golang, Cookie, 跟踪位置, net/http/cookiejar, package main, golang.org/x/net/publicsuffix, io/ioutil, log, net/http, net/http/cookiejar ... [详细]
  • object

    Java学习笔记之面向对象编程（OOP）

    Java学习笔记之面向对象编程（OOP）
    本文介绍了Java学习笔记中的面向对象编程（OOP）内容，包括OOP的三大特性（封装、继承、多态）和五大原则（单一职责原则、开放封闭原则、里式替换原则、依赖倒置原则）。通过学习OOP，可以提高代码复用性、拓展性和安全性。 ... [详细]
  • utf-8

    Python3中选择文件对话框的格式打开和保存图片

    本文介绍了在Python3中如何使用选择文件对话框的格式打开和保存图片的方法。通过使用tkinter库中的filedialog模块的asksaveasfilename和askopenfilename函数，可以方便地选择要打开或保存的图片文件，并进行相关操作。具体的代码示例和操作步骤也被提供。 ... [详细]
  • object

    在类中定义数组时出错 - Error on defining arrays in class

    Iamtryingtomakeaclassthatwillreadatextfileofnamesintoanarray,thenreturnthatarra ... [详细]
  • function

    brain是什么意思_brain怎么读_brain翻译_用法_发音_词组_同反义词_脑新东方在线英语词典

    本文介绍了brain的意思、读音、翻译、用法、发音、词组、同反义词等内容，以及脑新东方在线英语词典的相关信息。还包括了brain的词汇搭配、形容词和名词的用法，以及与brain相关的短语和词组。此外，还介绍了与brain相关的医学术语和智囊团等相关内容。 ... [详细]
  • datetime

    SpringBoot uri统一权限管理的实现方法及步骤详解

    SpringBoot uri统一权限管理的实现方法及步骤详解
    本文详细介绍了SpringBoot中实现uri统一权限管理的方法，包括表结构定义、自动统计URI并自动删除脏数据、程序启动加载等步骤。通过该方法可以提高系统的安全性，实现对系统任意接口的权限拦截验证。 ... [详细]
  • hash

    数据库的存储结构及其重要性

    本文介绍了数据库的存储结构及其重要性，强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离，可以实现对物理存储的重新组织和数据库的迁移，而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构，并介绍了表空间的概念和作用。 ... [详细]
  • datetime

    阿里云物联网 .NET Core 客户端 | CZGL.AliIoTClient：4. 设备上报属性

    阿,里,云,物,联网,net,core,客户端,czgl,aliiotclient, ... [详细]
  • uri

    Open judge C16H: Magical Balls 快速幂+逆元问题解析

    本文主要解析了Open judge C16H问题中涉及到的Magical Balls的快速幂和逆元算法，并给出了问题的解析和解决方法。详细介绍了问题的背景和规则，并给出了相应的算法解析和实现步骤。通过本文的解析，读者可以更好地理解和解决Open judge C16H问题中的Magical Balls部分。 ... [详细]
  • uri

    差分约束系统求解House Man跳跃问题的思路与方法

    本文讨论了使用差分约束系统求解House Man跳跃问题的思路与方法。给定一组不同高度，要求从最低点跳跃到最高点，每次跳跃的距离不超过D，并且不能改变给定的顺序。通过建立差分约束系统，将问题转化为图的建立和查询距离的问题。文章详细介绍了建立约束条件的方法，并使用SPFA算法判环并输出结果。同时还讨论了建边方向和跳跃顺序的关系。 ... [详细]
author-avatar
lucky燕子加加加
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有