热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

SQLServer:快速导入数据-mysql教程

本文介绍了几种不同的批量导入数据的方法、各种方法相应的实例及其所需的时间长短……如果需要向数据库专区hrefdev.yesky.comdevsjktarget_blankSQLServer批量导入数据,根据导入的选项和表中的索引设置,数据导入的时间可

本文介绍了几种不同的 批量 导入 数据 的方法、各种方法相应的实例及其所需的时间长短…… 如果需要向 数据 库专区 href="http://dev.yesky.com/devsjk" target=_blank>SQL Server 批量 导入 数据 ,根据 导入 的选项和表中的索引设置, 数据 导入 的时间可

  本文介绍了几种不同的批量导入数据的方法、各种方法相应的实例及其所需的时间长短……

  如果需要向数据库专区 href="http://dev.yesky.com/devsjk" target=_blank>SQL Server批量导入数据,根据导入的选项和表中的索引设置,数据导入的时间可能会在不同情况下相差甚远。如何能够把批量导入的过程尽量少花时间呢?在这里我们将会介绍几种不同的批量导入数据的方法、各种方法相应的实例及其所需的时间长短。

  在我们的测试中我们采取了六种不同的数据导入方法:

  1. 表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)

  2. 表只含有一个聚集索引

  3. 表不含有任何索引

  4. 表不含有任何索引并且有TABLOCK指示

  5. 表只含有一个聚集索引并且有TABLOCK指示

  6. 表含有一个聚集索引一个聚集索引并且有TABLOCK指示

  另外,测试所用数据库在测试前设置为批日志恢复模式。

  这些测试中,每次迭代后数据库和日志都会清理日志文件,而且实施每一个步骤之前都将表删除,然后重新创建新表。

  测试一

  第一次运行是使用一个含有121317行的数据集和一个空表。每次运行之前都会重新创建符合测试的表。

  如下图结果所示,我们可以看出根据你用来导入数据的不同程序,运行时间有所不同。

ID

测试

运行(1)

运行(2)

1

表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)

5.1

5.3

2

表只含有一个聚集索引

3.2

3.0

3

表不含有任何索引

1.4

1.4

4

表只含有一个聚集索引并且有TABLOCK指示

1.2

1.3

5

表只含有一个聚集索引并且有TABLOCK指示

2.8

2.5

6

表含有一个聚集索引一个聚集索引并且有TABLOCK指示

4.1

3.9

  测试2

  第二次运行是使用一个含有242634行的数据集和一个空表。每次运行之前都会重新创建符合测试的表。

  我们可以看到这些运行的时间有一些差别。

ID

Test

运行(1)

运行(2)

1

表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)

14.0

13.8

2

表只含有一个聚集索引

6.9

7.3

3

表不含有任何索引

2.7

2.7

4

表只含有一个聚集索引并且有TABLOCK指示

2.5

2.5

5

表只含有一个聚集索引并且有TABLOCK指示

5.6

5.5

6

表含有一个聚集索引一个聚集索引并且有TABLOCK指示

8.4

8.7

  测试三

  在这个测试中,我们运行了两个导入过程。第一次导入使用了一个含有121317行和一个空表,然后在同一个表中导入另外121317条记录。每次运行之前都会重新创建符合测试的表。

ID

测试

运行(1)

运行(2)

总时间

1

表含有一个聚集索引(clustered index)和两个非聚集索引(non-clustered index)

8.4

7.7

16.1

2

表只含有一个聚集索引

3.5

3.2

6.7

3

表不含有任何索引

1.5

1.4

2.9

4

表只含有一个聚集索引并且有TABLOCK指示

1.3

1.3

2.6

5

表只含有一个聚集索引并且有TABLOCK指示

3.1

4.0

7.1

6

表含有一个聚集索引一个聚集索引并且有TABLOCK指示

4.0

8.5

12.5

  总结

  我们可以从以上测试的结果看出,各种不同的条件会影响数据导入所用的时间。因此,如果想要更快地导入数据,可以导入不含任何索引的表,在导入完成之后再建立索引。不过我们的测试中没有检测在导入完成后建立索引所需要的时间。

  另外,还要注意确保你的数据和日志文件有足够的空间来完成这个导入过程而不会导致文件自动增长。文件自动增长会极大地影响总导入的速度。


推荐阅读
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 构建基于BERT的中文NL2SQL模型:一个简明的基准
    本文探讨了将自然语言转换为SQL语句(NL2SQL)的任务,这是人工智能领域中一项非常实用的研究方向。文章介绍了笔者在公司举办的首届中文NL2SQL挑战赛中的实践,该比赛提供了金融和通用领域的表格数据,并标注了对应的自然语言与SQL语句对,旨在训练准确的NL2SQL模型。 ... [详细]
  • 在使用 DataGridView 时,如果在当前单元格中输入内容但光标未移开,点击保存按钮后,输入的内容可能无法保存。只有当光标离开单元格后,才能成功保存数据。本文将探讨如何通过调用 DataGridView 的内置方法解决此问题。 ... [详细]
  • 本文详细介绍了如何在 Linux 平台上安装和配置 PostgreSQL 数据库。通过访问官方资源并遵循特定的操作步骤,用户可以在不同发行版(如 Ubuntu 和 Red Hat)上顺利完成 PostgreSQL 的安装。 ... [详细]
  • 如何在PostgreSQL中查看数据表
    本文将指导您使用pgAdmin工具连接到PostgreSQL数据库,并展示如何浏览和查找其中的数据表。通过简单的步骤,您可以轻松访问所需的表结构和数据。 ... [详细]
  • 利用存储过程构建年度日历表的详细指南
    本文将介绍如何使用SQL存储过程创建一个完整的年度日历表。通过实例演示,帮助读者掌握存储过程的应用技巧,并提供详细的代码解析和执行步骤。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • 在使用SQL Server进行动态SQL查询时,如果遇到LIKE语句无法正确返回预期结果的情况,通常是因为参数传递方式不当。本文将详细探讨这一问题,并提供解决方案及相关的技术背景。 ... [详细]
  • 本文介绍如何通过创建替代插入触发器,使对视图的插入操作能够正确更新相关的基本表。涉及的表包括:飞机(Aircraft)、员工(Employee)和认证(Certification)。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • SQLite 动态创建多个表的需求在网络上有不少讨论,但很少有详细的解决方案。本文将介绍如何在 Qt 环境中使用 QString 类轻松实现 SQLite 表的动态创建,并提供详细的步骤和示例代码。 ... [详细]
  • 精选30本C# ASP.NET SQL中文PDF电子书合集
    欢迎订阅我们的技术博客,获取更多关于C#、ASP.NET和SQL的最新资讯和资源。 ... [详细]
  • MySQL 数据库迁移指南:从本地到远程及磁盘间迁移
    本文详细介绍了如何在不同场景下进行 MySQL 数据库的迁移,包括从一个硬盘迁移到另一个硬盘、从一台计算机迁移到另一台计算机,以及解决迁移过程中可能遇到的问题。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 本文介绍如何在 FireDAC 环境下实现 FDMEMTable 字段的自动获取,为开发人员提供便捷的数据处理方式。 ... [详细]
author-avatar
手机用户2502875747
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有