sqoop自定义分隔符的实现方法及步骤详解

如题，sqoop1.4.*版本中分隔符只能为一个字符，并不能满足实际开发中的一些需求，下面讨论如何自定义分隔符！

首先说明，本人在研究过程中借鉴了http://www.cnblogs.com/YFYkuner/p/3748495.html！

步骤如下：

1.修改sqoop生成的java文件，仅修改一行代码即可，char fieldDelim = delimiters.getFieldsTerminatedBy();替换为String fieldDelim = "！@#";

2.重新编译，hadoop1.*编译请移步上面的链接，这里主要说hadoop2.*的编译，其实步骤都差不多，差别仅在于1.*有hadoop-core.jar，而2.*将其打散了，废话不多说，编译sqoop生成的java需要以下几个包

hadoop-common-2.6.0.jar、hadoop-annotations-2.6.0.jar、hadoop-mapreduce-client-core-2.6.0.jar

具体步骤如下：

javac -cp ./:$HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/hadoop-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/hadoop-annotations-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$SQOOP_HOME/sqoop-1.4.4-cdh5.1.0.jar TB_INSURANCE_PLEDGE.java

jar -cf TEST.jar TEST.class

sqoop import --connect jdbc:oracle:thin:@192.168.1.*:1521:orcl --username * --password *--verbose -m 1 --table TEST --jar-file /tmp/sqoop-hadoop/compile/a76a03a2aa1f403f660bf1e180f9317e/TEST.jar --class-name TEST --target-dir /user/sqoop/TEST

 

sqoop import --connect jdbc:XXX/testdb --username user --password password --table test_table --split-by id --jar-file /path/test_table.jar --class-name test_table