使用mysql的sqoop导入问题

作者：采蘑菇的雨天戴草帽_412_715 | 来源：互联网 | 2023-05-17 10:59

如何解决《使用mysql的sqoop导入问题》经验，为你挑选了3个好方法。

我有一个基于cdh5的hadoop ha设置.我试图通过使用sqoop从mysql导入表失败并出现以下错误.

15/03/20 12:47:53 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@33573e93 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.
java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@33573e93 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.

我使用了以下命令..

sqoop import --connect jdbc:mysql://:3306/haddata --username root --password password --table authors --hive-import

我的mysql服务器版本是5.1.73-3.并使用了mysql-connector-java的5.1.34和5.1.17版本

sqoop version is 1.4.5-cdh5.3.2

请告诉我任何建议/意见.

1> 小智..：

尝试在import命令中包含选项--driver com.mysql.jdbc.Driver.

2> hello_abhish..：

尝试使用以下修改过的命令,它可以满足您的目的

sqoop import --connect jdbc:mysql://:3306/haddata --driver com.mysql.jdbc.Driver --username root --password password --table authors --hive-import

3> 小智..：

点击此链接

--driver com.mysql.jdbc.Driver在sqoop命令中包含驱动程序参数.

sqoop import --connect jdbc:mysql://:3306/ --username **** --password **** --table

--hive-import --driver com.mysql.jdbc.Driver

--driver参数强制sqoop使用在sqoop机器上为mysql db安装的最新mysql-connector-java.jar

推荐阅读

import
FileNotFoundException: File does not exist

ubuntu用sqoop将数据从hive导入mysql时，命令： ... [详细]

蜡笔小新 2023-12-12 18:56:13
import
Postgresql备份和恢复的方法及命令行操作步骤

本文介绍了使用Postgresql进行备份和恢复的方法及命令行操作步骤。通过使用pg_dump命令进行备份，pg_restore命令进行恢复，并设置-h localhost选项，可以完成数据的备份和恢复操作。此外，本文还提供了参考链接以获取更多详细信息。 ... [详细]

蜡笔小新 2023-12-11 10:17:12
import
Python操作MySQL（pymysql模块）详解及示例代码

本文介绍了使用Python操作MySQL数据库的方法，详细讲解了pymysql模块的安装和连接MySQL数据库的步骤，并提供了示例代码。内容涵盖了创建表、插入数据、查询数据等操作，帮助读者快速掌握Python操作MySQL的技巧。 ... [详细]

蜡笔小新 2023-12-10 17:50:06
go
每天收获一点点Hadoop概述

一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明 ... [详细]

蜡笔小新 2023-12-14 18:58:01
select
SQL日志收缩及截断方法详解

本文详细介绍了SQL日志收缩的方法，包括截断日志和删除不需要的旧日志记录。通过备份日志和使用DBCC SHRINKFILE命令可以实现日志的收缩。同时，还介绍了截断日志的原理和注意事项，包括不能截断事务日志的活动部分和MinLSN的确定方法。通过本文的方法，可以有效减小逻辑日志的大小，提高数据库的性能。 ... [详细]

蜡笔小新 2023-12-14 18:23:25
import
使用 Ubuntu 中的 Python 获取浏览器历史记录

使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]

蜡笔小新 2023-12-14 08:57:59
process
大量研发销售产品设计市场岗位！

关于我们EMQ是一家全球领先的开源物联网基础设施软件供应商，服务新产业周期的IoT&5G、边缘计算与云计算市场，交付全球领先的开源物联网消息服务器和流处理数据 ... [详细]

蜡笔小新 2023-12-13 21:02:32
import
使用pymysql的Python无法向mysql数据库中的表添加字段

WhenIusepythontoapplythepymysqlmoduletoaddafieldtoatableinthemysqldatabase,itdo ... [详细]

蜡笔小新 2023-12-12 13:45:10
select
REVERT权限切换的操作步骤和注意事项

本文介绍了在SQL Server中进行REVERT权限切换的操作步骤和注意事项。首先登录到SQL Server，其中包括一个具有很小权限的普通用户和一个系统管理员角色中的成员。然后通过添加Windows登录到SQL Server，并将其添加到AdventureWorks数据库中的用户列表中。最后通过REVERT命令切换权限。在操作过程中需要注意的是，确保登录名和数据库名的正确性，并遵循安全措施，以防止权限泄露和数据损坏。 ... [详细]

蜡笔小新 2023-12-10 19:41:02
import
Excel 数据导入 ORACLE 的方法及步骤详解

本文详细介绍了使用 SQL Load 和 Excel 的 Concatenate 功能将数据导入 ORACLE 数据库的方法和步骤，同时介绍了使用 PL/SQL tools 将数据导入临时表的方法。此外，还提供了一个转链接，可参考更多相关内容。摘要共计XXX字。 ... [详细]

蜡笔小新 2023-12-10 18:02:31
process
微软评估和规划（MAP）的工具包介绍及应用实验手册

本文介绍了微软评估和规划（MAP）的工具包，该工具包是一个无代理工具，旨在简化和精简通过网络范围内的自动发现和评估IT基础设施在多个方案规划进程。工具包支持库存和使用用于SQL Server和Windows Server迁移评估，以及评估服务器的信息最广泛使用微软的技术。此外，工具包还提供了服务器虚拟化方案，以帮助识别未被充分利用的资源和硬件需要成功巩固服务器使用微软的Hyper - V技术规格。 ... [详细]

蜡笔小新 2023-12-10 11:24:55
java
使用freemaker生成Java代码的步骤及示例代码

本文介绍了使用freemaker这个jar包生成Java代码的步骤，通过提前编辑好的模板，可以避免写重复代码。首先需要在springboot的pom.xml文件中加入freemaker的依赖包。然后编写模板，定义要生成的Java类的属性和方法。最后编写生成代码的类，通过加载模板文件和数据模型，生成Java代码文件。本文提供了示例代码，并展示了文件目录结构。 ... [详细]

蜡笔小新 2023-12-09 09:42:44
select
解决.net项目中未注册“microsoft.ACE.oledb.12.0”提供程序的方法

在开发.net项目中，通过microsoft.ACE.oledb读取excel文件信息时，报错“未在本地计算机上注册“microsoft.ACE.oledb.12.0”提供程序”。本文提供了解决这个问题的方法，包括错误描述和代码示例。通过注册提供程序和修改连接字符串，可以成功读取excel文件信息。 ... [详细]

蜡笔小新 2023-12-11 15:08:02
input
如何在Laravel DB :: insert中返回OUTPUT子句的值？

本文介绍了在使用Laravel和sqlsrv连接到SQL Server 2016时，如何在插入查询中使用输出子句，并返回所需的值。同时讨论了使用CreatedOn字段返回最近创建的行的解决方法以及使用Eloquent模型创建后，值正确插入数据库但没有返回uniqueidentifier字段的问题。最后给出了一个示例代码。 ... [详细]

蜡笔小新 2023-12-11 10:09:09
java
OpenMap教程4 – 图层概述

本文介绍了OpenMap教程4中关于地图图层的内容，包括将ShapeLayer添加到MapBean中的方法，OpenMap支持的图层类型以及使用BufferedLayer创建图像的MapBean。此外，还介绍了Layer背景标志的作用和OMGraphicHandlerLayer的基础层类。 ... [详细]

蜡笔小新 2023-12-09 19:26:56

采蘑菇的雨天戴草帽_412_715

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章