目录

0 引言

1 现象

2 问题解决

03 小结

0 引言

“ 本文讲解了Sqoop同步数据中存在特殊换行符导致两边数据不一致问题的解决方法&＃xff0c;同时对AVRO对解决这一类问题进行了重点讲解&＃xff0c;包括AVRO语法格式、Hive建表语法等。”

• 本文主要知识点&＃xff1a;AVRO存储格式及建表语法

1 现象

问题&＃xff1a;Sqoop采集完成后导致HDFS数据与Oracle数据量不符。

原因

• sqoop以文本格式导入数据时&＃xff0c;默认的换行符是特殊字符

• Oracle中的数据列中如果出现了\n、\r、\t等特殊字符&＃xff0c;就会被划分为多行

• Oracle数据

id	name	age
001	zhang\nsan	18

• Sqoop遇到特殊字段就作为一行

• 001 zhangsan 18

• Hive

id name age001 zhang san 18

结论&＃xff1a;当sqoop同步数据时&＃xff0c;数据中存在换行符如&＃xff08;\n&＃xff09;&＃xff0c;sqoop会根据换行符自动将数据换行&＃xff0c;导致最终在hive中同步看到的数据结果与原始数据不一致。

2 问题解决

• 方案一&＃xff1a;删除或者替换数据中的换行符

  • --hive-drop-import-delims&＃xff1a;删除换行符

  • --hive-delims-replacement  char&＃xff1a;替换换行符

  • 不建议使用&＃xff1a;侵入了原始数据

• 方案二&＃xff1a;使用特殊文件格式&＃xff1a;AVRO格式

问题解决&＃xff1a;Avro格式

常见格式介绍

类型	介绍
TextFile	Hive默认的文件格式&＃xff0c;最简单的数据格式&＃xff0c;便于查看和编辑&＃xff0c;耗费存储空间&＃xff0c;I/O性能较低
SequenceFile	含有键值对的二进制文件&＃xff0c;优化磁盘利用率和I/O&＃xff0c;并行操作数据&＃xff0c;查询效率高&＃xff0c;但存储空间消耗最大
AvroFile	特殊的二进制文件&＃xff0c;设计的主要目标是为了满足schema evolution&＃xff0c;Schema和数据保存在一起
OrcFile	列式存储&＃xff0c;Schema存储在footer中&＃xff0c;不支持schema evolution&＃xff0c;高度压缩比并包含索引&＃xff0c;查询速度非常快
ParquetFile	列式存储&＃xff0c;与Orc类似&＃xff0c;压缩比不如Orc&＃xff0c;但是查询性能接近&＃xff0c;支持的工具更多&＃xff0c;通用性更强

Avro格式特点

选项

--as-avrodatafile                                     Imports data to Avro datafiles

注意&＃xff1a;如果使用了MR的Uber模式&＃xff0c;必须在程序中加上以下参数避免类冲突问题

-Dmapreduce.job.user.classpath.first&＃61;true

• 优点

  • 二进制数据存储&＃xff0c;性能好、效率高

  • 使用JSON描述模式&＃xff0c;支持场景更丰富

  • Schema和数据统一存储&＃xff0c;消息自描述

  • 模式定义允许定义数据的排序

• 缺点

  • 只支持Avro自己的序列化格式

  • 少量列的读取性能比较差&＃xff0c;压缩比较低

• 场景&＃xff1a;基于行的大规模结构化数据写入、列的读取非常多或者Schema变更操作比较频繁的场景

• Sqoop使用Avro格式

  
  

• 使用测试

sqoop import \
-Dmapreduce.job.user.classpath.first&＃61;true \
--connect jdbc:oracle:thin:&＃64;oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456 \
--table CISS4.CISS_SERVICE_WORKORDER \
--delete-target-dir \
--target-dir /test/full_imp/ciss4.ciss_service_workorder \
--as-avrodatafile \
--fields-terminated-by "\001" \
-m 1

 Hive中建表

create external table test_avro(
line string
)
stored as avro
location &＃39;/test/full_imp/ciss4.ciss_service_workorder&＃39;;

 统计行数

select count(*) from test_avro;

Avro建表语法 

• Hive官网&＃xff1a;https://cwiki.apache.org/confluence/display/Hive/LanguageManual&＃43;DDL#LanguageManualDDL-CreateTable

• DataBrics官网&＃xff1a;https://docs.databricks.com/spark/2.x/spark-sql/language-manual/create-table.html

• Avro用法&＃xff1a;https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

指定文件类型

• 方式一&＃xff1a;指定类型

stored as avro

•  方式二&＃xff1a;指定解析类

&＃96;&＃96;&＃96;sql

--解析表的文件的时候&＃xff0c;用哪个类来解析

ROW FORMAT SERDE

&＃39;org.apache.hadoop.hive.serde2.avro.AvroSerDe&＃39;

--读取这张表的数据用哪个类来读取

STORED AS INPUTFORMAT

&＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat&＃39;

--写入这张表的数据用哪个类来写入

OUTPUTFORMAT

&＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat &＃96;&＃96;&＃96;

指定Schema

• 方式一&＃xff1a;手动定义Schema

CREATE TABLE embeddedCOMMENT "这是表的注释"ROW FORMAT SERDE &＃39;org.apache.hadoop.hive.serde2.avro.AvroSerDe&＃39;STORED AS INPUTFORMAT &＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat&＃39;OUTPUTFORMAT &＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat&＃39;TBLPROPERTIES ( &＃39;avro.schema.literal&＃39;&＃61;&＃39;{ "namespace": "com.howdy", "name": "some_schema", "type": "record", "fields": [ { "name":"string1","type":"string"}] }&＃39;);

•  方式二&＃xff1a;加载Schema文件

  需要先将表的schema信息放到HDFS上&＃xff08;先得同步schema&＃xff0c;注意数据类型需要和hive对应&＃xff09;

&＃96;&＃96;&＃96;sql CREATE TABLE embedded COMMENT "这是表的注释" ROW FORMAT SERDE &＃39;org.apache.hadoop.hive.serde2.avro.AvroSerDe&＃39; STORED as INPUTFORMAT &＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat&＃39; OUTPUTFORMAT &＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat&＃39; TBLPROPERTIES ( &＃39;avro.schema.url&＃39;&＃61;&＃39;file:///path/to/the/schema/embedded.avsc&＃39; ); &＃96;&＃96;&＃96;

• 具体例子如下&＃xff1a;

建表语法

方式一&＃xff1a;指定类型和加载Schema文件

create external table one_make_ods_test.ciss_base_areascomment &＃39;行政地理区域表&＃39;PARTITIONED BY (dt string)stored as avrolocation &＃39;/data/dw/ods/one_make/full_imp/ciss4.ciss_base_areas&＃39;TBLPROPERTIES (&＃39;avro.schema.url&＃39;&＃61;&＃39;/data/dw/ods/one_make/avsc/CISS4_CISS_BASE_AREAS.avsc&＃39;);

- 方式二&＃xff1a;指定解析类和加载Schema文件

&＃96;&＃96;&＃96;sqlcreate external table one_make_ods_test.ciss_base_areascomment &＃39;行政地理区域表&＃39;PARTITIONED BY (dt string)ROW FORMAT SERDE&＃39;org.apache.hadoop.hive.serde2.avro.AvroSerDe&＃39;STORED AS INPUTFORMAT&＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat&＃39;OUTPUTFORMAT&＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat&＃39;location &＃39;/data/dw/ods/one_make/full_imp/ciss4.ciss_base_areas&＃39;TBLPROPERTIES (&＃39;avro.schema.url&＃39;&＃61;&＃39;/data/dw/ods/one_make/avsc/CISS4_CISS_BASE_AREAS.avs
&＃96;&＃96;&＃96;&＃96;&＃96;&＃96;create external table 数据库名称.表名comment &＃39;表的注释&＃39;partitioned byROW FORMAT SERDE&＃39;org.apache.hadoop.hive.serde2.avro.AvroSerDe&＃39;STORED AS INPUTFORMAT&＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat&＃39;OUTPUTFORMAT&＃39;org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat&＃39;location &＃39;这张表在HDFS上的路径&＃39; TBLPROPERTIES &＃xff08;&＃39;这张表的Schema文件在HDFS上的路径&＃39;&＃xff09;;
&＃96;&＃96;&＃96;

03 小结

本文讲解了Sqoop同步数据中存在特殊换行符导致两边数据不一致问题的解决方法&＃xff0c;同时对AVRO对解决这一类问题进行了重点讲解&＃xff0c;包括AVRO语法格式、Hive建表语法等。

欢迎关注石榴姐公众号"我的SQL呀"&＃xff0c;关注我不迷路