热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

sqoop的导入工具使用

目前用到的sqoop是从oracle导入数据到hbase中的。sqoopimport--connect jdbc:oracle:thin:@192.168.193.37:1521:hispacedb --username&nb

目前用到的sqoop 是从oracle 导入数据到hbase中的。


sqoop import --connect jdbc:oracle:thin:@192.168.193.37:1521:hispacedb --username hwmarket  --password hwmarket37 --m 1 --query "select g.imei,g.id as sign ,to_char(g.logindate,'yyyy-MM-dd hh34:mi:ss') as crtdate,g.buildNumber,g.modelnumber,g.firmwarever as firmware,g.hispaceNumber,g.cno,to_char(g.updateTime,'yyyy-MM-dd hh34:mi:ss') as updateTime ,g.net,g.source,'' density,'' screen from l_logonlog_egame g where \$CONDITIONS" --columns IMEI,SIGN,CRTDATE,BUILDNUMBER,MODELNUMBER,FIRMWARE,HISPACENUMBER,CNO,UPDATETIME,NET,SOURCE,DENSITY,SCREEN --hbase-create-table --hbase-table h_active_device_info_gamecenter --hbase-row-key IMEI --column-family data



具体的一些参数可以参看sqoop 官网的api 即可,


倒入数据速度还是挺快的1kw的数据在10分钟作用就能导入完成。 


另外再使用中, 发现sqoop从oracle导入到hbase中 不能改变hbase中的字段, 必须要和oracle这边的字段名保持一致, 不知道是不是我自己使用的问题, 如果有明白的可以分享下。



推荐阅读
author-avatar
m13380107
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有