sqoop导出数据到mysql出现异常，语句是对的，不多不知道为什么报错，求帮忙解决

作者：军军CJJ_317 | 来源：互联网 | 2023-09-25 11:46

[root@cloud4conf]#sqoopexport--connectjdbc:mysql:192.168.56.1:3306hive--usernameroot--pas

[root@cloud4 conf]# sqoop export --connect jdbc:mysql://192.168.56.1:3306/hive --username root --password root --table pv_info --export-dir /hive/hmbbs.db/result/dat2=2013-05-30 --input-fields-terminated-by '\t';
13/10/31 02:24:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
13/10/31 02:24:43 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
13/10/31 02:24:43 INFO tool.CodeGenTool: Beginning code generation
13/10/31 02:24:43 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `pv_info` AS t LIMIT 1
13/10/31 02:24:43 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `pv_info` AS t LIMIT 1
13/10/31 02:24:43 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/local/hadoop
Note: /tmp/sqoop-root/compile/4ab5f7e76b5428c59fb2869c08077146/pv_info.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
13/10/31 02:24:44 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/4ab5f7e76b5428c59fb2869c08077146/pv_info.jar
13/10/31 02:24:44 INFO mapreduce.ExportJobBase: Beginning export of pv_info
13/10/31 02:24:45 INFO input.FileInputFormat: Total input paths to process : 1
13/10/31 02:24:45 INFO input.FileInputFormat: Total input paths to process : 1
13/10/31 02:24:45 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/10/31 02:24:45 WARN snappy.LoadSnappy: Snappy native library not loaded
13/10/31 02:24:45 INFO mapred.JobClient: Running job: job_201310310028_0018
13/10/31 02:24:46 INFO mapred.JobClient:  map 0% reduce 0%
13/10/31 02:24:54 INFO mapred.JobClient:  map 14% reduce 0%
13/10/31 02:24:56 INFO mapred.JobClient:  map 85% reduce 0%
13/10/31 02:24:56 INFO mapred.JobClient: Task Id : attempt_201310310028_0018_m_000000_0, Status : FAILED
java.io.IOException: Can't export data, please check task tracker logs
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
        at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
        at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.util.NoSuchElementException
        at java.util.AbstractList$Itr.next(AbstractList.java:350)
        at pv_info.__loadFromFields(pv_info.java:198)
        at pv_info.parse(pv_info.java:147)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:83)
        ... 10 more

13/10/31 02:25:01 INFO mapred.JobClient: Task Id : attempt_201310310028_0018_m_000000_1, Status : FAILED
java.io.IOException: Can't export data, please check task tracker logs
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
        at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
        at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.util.NoSuchElementException
        at java.util.AbstractList$Itr.next(AbstractList.java:350)
        at pv_info.__loadFromFields(pv_info.java:198)
        at pv_info.parse(pv_info.java:147)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:83)
        ... 10 more

13/10/31 02:25:06 INFO mapred.JobClient: Task Id : attempt_201310310028_0018_m_000000_2, Status : FAILED
java.io.IOException: Can't export data, please check task tracker logs
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
        at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
        at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.util.NoSuchElementException
        at java.util.AbstractList$Itr.next(AbstractList.java:350)
        at pv_info.__loadFromFields(pv_info.java:198)
        at pv_info.parse(pv_info.java:147)
        at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:83)
        ... 10 more

13/10/31 02:25:12 INFO mapred.JobClient: Job complete: job_201310310028_0018
13/10/31 02:25:12 INFO mapred.JobClient: Counters: 20
13/10/31 02:25:12 INFO mapred.JobClient:   Job Counters
13/10/31 02:25:12 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=48806
13/10/31 02:25:12 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/10/31 02:25:12 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/10/31 02:25:12 INFO mapred.JobClient:     Rack-local map tasks=7
13/10/31 02:25:12 INFO mapred.JobClient:     Launched map tasks=10
13/10/31 02:25:12 INFO mapred.JobClient:     Data-local map tasks=3
13/10/31 02:25:12 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
13/10/31 02:25:12 INFO mapred.JobClient:     Failed map tasks=1
13/10/31 02:25:12 INFO mapred.JobClient:   File Output Format Counters
13/10/31 02:25:12 INFO mapred.JobClient:     Bytes Written=0
13/10/31 02:25:12 INFO mapred.JobClient:   FileSystemCounters
13/10/31 02:25:12 INFO mapred.JobClient:     HDFS_BYTES_READ=801
13/10/31 02:25:12 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=371720
13/10/31 02:25:12 INFO mapred.JobClient:   File Input Format Counters
13/10/31 02:25:12 INFO mapred.JobClient:     Bytes Read=0
13/10/31 02:25:12 INFO mapred.JobClient:   Map-Reduce Framework
13/10/31 02:25:12 INFO mapred.JobClient:     Map input records=0
13/10/31 02:25:12 INFO mapred.JobClient:     Physical memory (bytes) snapshot=205475840
13/10/31 02:25:12 INFO mapred.JobClient:     Spilled Records=0
13/10/31 02:25:12 INFO mapred.JobClient:     CPU time spent (ms)=2780
13/10/31 02:25:12 INFO mapred.JobClient:     Total committed heap usage (bytes)=40501248
13/10/31 02:25:12 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2130132992
13/10/31 02:25:12 INFO mapred.JobClient:     Map output records=0
13/10/31 02:25:12 INFO mapred.JobClient:     SPLIT_RAW_BYTES=762
13/10/31 02:25:12 INFO mapreduce.ExportJobBase: Transferred 801 bytes in 27.6045 seconds (29.017 bytes/sec)
13/10/31 02:25:12 INFO mapreduce.ExportJobBase: Exported 0 records.
13/10/31 02:25:12 ERROR tool.ExportTool: Error during export: Export job failed!

4 个解决方案

#1

文件名写全就行勒！
真是太大意了，也怪自己不懂这个原理
/hive/hmbbs.db/result/dat2=2013-05-30/000000_0

#2

#3

楼主，我也遇到了这种问题，有4个表，其中3个表直接--export-dir写的是目录，没写具体的文件名，因为该目录下有很多的文件，不会报错，而且数据都正常；只有一个表会报Caused by: java.util.NoSuchElementException的错。。。。。估计不是写全文件名的问题。。。愁死了

#4

我也遇到了类似的报错
Caused by: java.util.NoSuchElementException
同时底下还报错说违反唯一性约束（我建了个同样的表，去除了所有的约束，也会报同样的错误），我看了下表中的数据不存在重复的，网上也有说是分隔符的问题，我也试了不同的分隔符，还是没搞定
希望前辈不吝赐教
xieyanhevip@163.com

qq: 244212771

推荐阅读

timestamp
日志处理流程：Flume+MapReduce+Hive+Sqoop+MySQL

本文介绍了如何使用Flume从Linux文件系统收集日志并存储到HDFS，然后通过MapReduce清洗数据，使用Hive进行数据分析，并最终通过Sqoop将结果导出到MySQL数据库。 ... [详细]

蜡笔小新 2024-11-13 18:47:34
timestamp
Presto：高效即席查询引擎的深度解析与应用

本文深入解析了Presto这一高效的即席查询引擎，详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式，显著提升了查询性能，相比传统的MapReduce查询，不仅减少了数据传输的延迟，还提高了查询的准确性和效率。然而，Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景，展示了其在大数据分析领域的强大潜力。 ... [详细]

蜡笔小新 2024-11-07 19:17:47
int
PHP 5.5.31 和 PHP 5.6.17 安全更新发布

PHP 5.5.31 和 PHP 5.6.17 已正式发布，主要包含多个安全修复。强烈建议所有用户尽快升级至最新版本以确保系统安全。 ... [详细]

蜡笔小新 2024-11-14 17:40:40
get
HDFS API

Hadoop的文件操作位于包org.apache.hadoop.fs里面，能够进行新建、删除、修改等操作。比较重要的几个类：(1)Configurati ... [详细]

蜡笔小新 2024-11-13 17:31:50
get
Java DAO模式详解与代码示例

DAO（Data Access Object）模式是一种用于抽象和封装所有对数据库或其他持久化机制访问的方法，它通过提供一个统一的接口来隐藏底层数据访问的复杂性。 ... [详细]

蜡笔小新 2024-11-13 12:25:33
get
Python 使用 DOM 和 SAX 解析 XML 的应用实例

本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件，并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]

蜡笔小新 2024-11-12 16:10:39
get
从0到1搭建大数据平台

从0到1搭建大数据平台 ... [详细]

蜡笔小新 2024-11-12 15:26:03
int
PTArchiver工作原理详解与应用分析

PTArchiver工作原理及其应用分析本文详细解析了PTArchiver的工作机制，探讨了其在数据归档和管理中的应用。PTArchiver通过高效的压缩算法和灵活的存储策略，实现了对大规模数据的高效管理和长期保存。文章还介绍了其在企业级数据备份、历史数据迁移等场景中的实际应用案例，为用户提供了实用的操作建议和技术支持。 ... [详细]

蜡笔小新 2024-11-11 13:40:49
get
使用Shell脚本高效部署MHA高可用集群

本文介绍了如何利用Shell脚本高效地部署MHA（MySQL High Availability）高可用集群。通过详细的脚本编写和配置示例，展示了自动化部署过程中的关键步骤和注意事项。该方法不仅简化了集群的部署流程，还提高了系统的稳定性和可用性。 ... [详细]

蜡笔小新 2024-11-10 10:15:46
sum
Kafka 版本不兼容引发 TaskExecutor 启动故障分析与解决

在本地环境中部署了两个不同版本的 Flink 集群，分别为 1.9.1 和 1.9.2。近期在尝试启动 1.9.1 版本的 Flink 任务时，遇到了 TaskExecutor 启动失败的问题。尽管 TaskManager 日志显示正常，但任务仍无法成功启动。经过详细分析，发现该问题是由 Kafka 版本不兼容引起的。通过调整 Kafka 客户端配置并升级相关依赖，最终成功解决了这一故障。 ... [详细]

蜡笔小新 2024-11-08 14:13:56
get
Android中将独立SO库封装进JAR包并实现SO库的加载与调用

在Android开发中，将独立的SO库封装进JAR包并实现其加载与调用是一个常见的需求。本文详细介绍了如何将SO库嵌入到JAR包中，并确保在外部应用调用该JAR包时能够正确加载和使用这些SO库。通过这种方式，开发者可以更方便地管理和分发包含原生代码的库文件，提高开发效率和代码复用性。文章还探讨了常见的问题及其解决方案，帮助开发者避免在实际应用中遇到的坑。 ... [详细]

蜡笔小新 2024-11-07 14:28:55
int
DB2 9 认证指南（733 测验）第二部分：数据处理

本文介绍 DB2 中的基本概念，重点解释事务单元（UOW）和事务的概念。事务单元是指作为单个原子操作执行的一个或多个 SQL 查询。 ... [详细]

蜡笔小新 2024-11-14 16:58:15
int
如何高效查看Java API和源码

在Java学习过程中，查看API文档和源码是提高编程能力的重要手段。本文将详细介绍如何使用各种工具和方法高效地查看Java API和源码。 ... [详细]

蜡笔小新 2024-11-14 09:03:54
int
Automated Region Validation in AWS SDK Provider

This feature automatically validates new regions using the AWS SDK, ensuring compatibility and accuracy. ... [详细]

蜡笔小新 2024-11-13 21:40:42
get
Java反射机制详解及应用场景

本文详细介绍了Java反射机制的基本概念、获取Class对象的方法、反射的主要功能及其在实际开发中的应用。通过具体示例，帮助读者更好地理解和使用Java反射。 ... [详细]

蜡笔小新 2024-11-13 16:08:08

军军CJJ_317

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章