sqoop导出数据到mysql_使用Sqoop将日志数据导入到MySQL

一、前言

《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、Javascript 等目前流行的计算机、大数据编程语言&＃xff0c;希望大家以后关注本头条号更多的内容。

Sqoop是一款开源的工具&＃xff0c;主要用于在Hadoop(Hive)与传统的数据库(如mysql)间进行数据的传递&＃xff0c;可以将一个关系型数据库(例如 &＃xff1a;MySQL )中的数据导进入到Hadoop的HDFS中&＃xff0c;也可以将HDFS的数据导入到关系型数据库中。

1、实验环境

【1】Linux操作系统

【2】hadoop分布式环境

【3】MySQL数据库和Sqoop数据迁移工具

2、案例场景

有如下日志格式的数据文件hello

Hello you

Hello me

Hello everbody

使用Sqoop将日志文件数据导出到MySQL

二、实现过程

1、确认hadoop集群是否启动

2、确认MySQL是否安装&＃xff0c;服务是否能启动

3、确保Sqoop已经能够安装并且能够运行

4、建立MySQL输入表&＃xff0c;并录入数据

这里数据库名为db&＃xff0c;表为t_log&＃xff0c;字段为field1、field2都是varchar类型

5、准备数据&＃xff0c;字段之间使用Tab键隔开

vi hello

将hello日志文件上传到HDFS的/log_data下&＃xff1a;

将日志数据导入MySQL

输入下列指令将日志数据导入MySQL &＃xff1a;

sqoop export --connect jdbc:mysql://127.0.0.1:3306/db --username admin --password 123456 --table t_log --export-dir /log_data --input-fields-terminated-by &＃39;&＃39; --columns&＃61;"field1,field2"

在MySQL客户端&＃xff0c;查看导入后的数据&＃xff1a;

《大数据和人工智能交流》的宗旨

1、将大数据和人工智能的专业数学&＃xff1a;概率数理统计、线性代数、决策论、优化论、博弈论等数学模型变得通俗易懂。

2、将大数据和人工智能的专业涉及到的数据结构和算法&＃xff1a;分类、聚类 、回归算法、概率等算法变得通俗易懂。

3、最新的高科技动态&＃xff1a;数据采集方面的智能传感器技术&＃xff1b;医疗大数据智能决策分析&＃xff1b;物联网智慧城市等等。

根据初学者需要会有C语言、Java语言、Python语言、Scala函数式等目前主流计算机语言。

根据读者的需要有和人工智能相关的计算机科学与技术、电子技术、芯片技术等基础学科通俗易懂的文章。