热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

hive多个字节分割符

hive0.14版本之前默认只支持单个字符。0.14版本以后提供序列化类支持多个字节。hive官网描述:https:cwiki.apache.orgconfluencedispla

hive0.14版本之前默认只支持单个字符。0.14版本以后提供序列化类支持多个字节。

hive官网描述: https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe

例子如下:

CREATE TABLE test (
id string,
hivearray array,
hivemap map)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'
WITH SERDEPROPERTIES ("field.delim"="[,]","collection.delim"=":","mapkey.delim"="@");

需要注意一点sqoop 1.4.6同步数据进入hive不支持多个字节。需要修改sqoop源码
例子如下:
https://github.com/cloudera/sqoop/blob/cdh5-1.4.6_5.13.1/src/java/org/apache/sqoop/lib/DelimiterSet.java
https://www.cnblogs.com/simplestupid/p/6444332.html?utm_source=itdadao&utm_medium=referral


推荐阅读
author-avatar
faerbersitko
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有