热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

大文本数据怎么导入导出到数据库

这篇文章主要介绍“大文本数据怎么导入导出到数据库”,在日常操作中,相信很多人在大文本数据怎么导入导出到数据库问题上存在疑惑,小编查阅了各

这篇文章主要介绍“大文本数据怎么导入导出到数据库”,在日常操作中,相信很多人在大文本数据怎么导入导出到数据库问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”大文本数据怎么导入导出到数据库”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

一,使用sql load

创建表

create table ext_gv_tmp_amazon_sku

(

  skucode varchar2(255 char),

  eancode varchar2(255 char)

)

配置控制文件

more  input.ctl

load data

infile input.txt

badfile  t.bad

discardfile t.dsc

append into table ext_gv_tmp_amazon_sku   ----导入的表

fields terminated by "|"     ---分割符

trailing nullcols      ---允许列有空值

(skucode,eancode)      ---导入的字段

导入命令

先设置导入客户端字符集,不然中文会乱码

export NLS_LANG=AMERICAN_AMERICA.UTF8

同时看看系统的字符集是否设置正确

[oracle@rac-test1 pandump]$ cat /etc/sysconfig/i18n

LANG="en_US.UTF-8"

SYSFOnT="latarcyrheb-sun16"

最后导入数据

[oracle@rac-test1 pandump]$ sqlldr panhf/oracle cOntrol=input.ctl

SQL> select count(*) from ext_gv_tmp_amazon_sku;

  COUNT(*)

----------

   2409530

二,使用外部表

利用外部表的方式来导入数据

1,创建oracle目录,并授权给相关账号

CREATE OR REPLACE DIRECTORY pandump

    AS '/oradata/pandump';

grant read,write on DIRECTORY pandump to panhf;

2,创建外部表,注意这里的字符集设置,如果不设置中文会无法读取导致数据丢失

create table ext_gv_tmp_amazon_sku

(

  skucode varchar2(255 char),

  eancode varchar2(255 char)

)

organization external (

   type oracle_loader

   default directory pandump

   access parameters

   (

      records delimited by newline

      logfile pandump:'ext_gv_tmp_amazon_sku.log'

      badfile pandump:'ext_gv_tmp_amazon_sku.bad'

      discardfile pandump:'ext_gv_tmp_amazon_sku.disc'

      characterset 'AL32UTF8'

      fields terminated by "|" lrtrim

      missing field values are null

      (

       skucode,

       eancode

      )

   )

   location ('ext_ids_1.txt')

)

reject limit unlimited

/

3,将数据cts的方式拷贝到另外的表

select count(*) from ext_gv_tmp_amazon_sku;

  COUNT(*)

----------

   2409530

create table panhf.ext_gv_tmp_amazon_sku as select * from ext_gv_tmp_amazon_sku;

Table created.

三,数据导出文本

cat  exp.sql

set echo off

set feedback off

set newpage none

set verify off

set pagesize 0

set term off

set trims on

set linesize 600

set heading off

set timing off

set numwidth 40

spool /home/oracle/empInfor.txt  

select  skucode||'|'||eancode  from panhf.ext_gv_tmp_amazon_sku;

spool off

执行脚本

@exp.sql

到此,关于“大文本数据怎么导入导出到数据库”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注编程笔记网站,小编会继续努力为大家带来更多实用的文章!


推荐阅读
  • 优化SQL Server批量数据插入存储过程的实现
    本文介绍了一种改进的SQL Server存储过程,用于生成批量插入语句。该方法不仅提高了性能,还支持单行和多行模式,适用于SQL Server 2005及以上版本。 ... [详细]
  • 主调|大侠_重温C++ ... [详细]
  • JavaScript 中创建对象的多种方法
    本文详细介绍了 JavaScript 中创建对象的几种常见方式,包括对象字面量、构造函数和 Object.create 方法,并提供了示例代码和属性描述符的解释。 ... [详细]
  • 本文详细介绍了优化DB2数据库性能的多种方法,涵盖统计信息更新、缓冲池调整、日志缓冲区配置、应用程序堆大小设置、排序堆参数调整、代理程序管理、锁机制优化、活动应用程序限制、页清除程序配置、I/O服务器数量设定以及编入组提交数调整等方面。通过这些技术手段,可以显著提升数据库的运行效率和响应速度。 ... [详细]
  • 本文介绍如何使用SAS根据输入数据集自动生成并执行SQL查询,其中CASE语句依据另一个数据集中的观测值动态调整。 ... [详细]
  • 本文深入探讨了SQL数据库中常见的面试问题,包括如何获取自增字段的当前值、防止SQL注入的方法、游标的作用与使用、索引的形式及其优缺点,以及事务和存储过程的概念。通过详细的解答和示例,帮助读者更好地理解和应对这些技术问题。 ... [详细]
  • 实用正则表达式有哪些
    小编给大家分享一下实用正则表达式有哪些,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下 ... [详细]
  • 本文详细介绍如何使用 Apache Spark 执行基本任务,包括启动 Spark Shell、运行示例程序以及编写简单的 WordCount 程序。同时提供了参数配置的注意事项和优化建议。 ... [详细]
  • 如何使用Ping命令来测试网络连接?当网卡安装和有关参数配置完成后,可以使用ping命令来测试一下网络是否连接成功。以winXP为例1、打开XP下DOS窗口具体操作是点击“开始”菜 ... [详细]
  • 本文探讨了如何在Hive(基于Hadoop)环境中编写类似SQL的语句,以去除字段中的空格。特别是在处理邮政编码等数据时,去除特定位置的空格是常见的需求。 ... [详细]
  • 本文深入探讨了MySQL中常见的面试问题,包括事务隔离级别、存储引擎选择、索引结构及优化等关键知识点。通过详细解析,帮助读者在面对BAT等大厂面试时更加从容。 ... [详细]
  • 本文详细介绍了如何使用 HTML 和 CSS 对文件上传按钮进行样式美化,使用户界面更加友好和美观。 ... [详细]
  • 配置PHPStudy环境并使用DVWA进行Web安全测试
    本文详细介绍了如何在PHPStudy环境下配置DVWA( Damn Vulnerable Web Application ),并利用该平台进行SQL注入和XSS攻击的练习。通过此过程,读者可以熟悉常见的Web漏洞及其利用方法。 ... [详细]
  • 本文详细介绍了如何解压并安装MySQL集群压缩包,创建用户和组,初始化数据库,配置环境变量,并启动相关服务。此外,还提供了详细的命令行操作步骤和常见问题的解决方案。 ... [详细]
  • docker镜像重启_docker怎么启动镜像dock ... [详细]
author-avatar
减肥瘦身666
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有