热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

优化SQLServer批量数据插入存储过程的实现

本文介绍了一种改进的SQLServer存储过程,用于生成批量插入语句。该方法不仅提高了性能,还支持单行和多行模式,适用于SQLServer2005及以上版本。

在浏览一篇关于将表中数据批量生成INSERT语句的文章时,我发现其中提供的两个存储过程存在一些不足。这些存储过程生成的是单行模式的插入语句,当数据量较大时,性能会受到影响。因此,我决定对这些存储过程进行改写和增强,以支持更高效的多行模式插入。


新存储过程运行于SQL Server 2005或更高版本,其T-SQL代码如下:



IF OBJECT_ID('dbo.usp_GenerateInsertScript', 'P') IS NOT NULL
BEGIN
DROP PROCEDURE dbo.usp_GenerateInsertScript;
END
GO
--==================================
-- 功能: 生成数据表记录插入的SQL脚本
-- 说明: 支持单行和多行模式
-- 作者: xxx
-- 创建: yyyy-mm-dd
-- 修改: yyyy-mm-dd 描述修改内容
--==================================
CREATE PROCEDURE dbo.usp_GenerateInsertScript
(
@TableName NVARCHAR(128), -- 数据表名称
@WhereClause NVARCHAR(MAX) = N'', -- WHERE查询条件
@IsSingleRow BIT = 1 -- 是否为单行模式,默认为单行模式
)
AS
BEGIN
SET NOCOUNT ON;
DECLARE
@TableID INT,
@SchemaTableName NVARCHAR(256),
@ColumnNames NVARCHAR(MAX),
@ColumnValues NVARCHAR(MAX),
@SQL NVARCHAR(MAX),
@InsertIntoPart NVARCHAR(MAX);

SELECT
@TableID = object_id,
@SchemaTableName = QUOTENAME(schema_name(schema_id)) + '.' + QUOTENAME(@TableName)
FROM sys.objects
WHERE name = @TableName AND type = 'U';

SELECT
@ColumnNames = ISNULL(@ColumnNames + ', ', '') + QUOTENAME(name),
@ColumnValues = ISNULL(@ColumnValues + ' + '', '' + ', '') + CASE
WHEN system_type_id IN (48, 52, 56, 59, 60, 62, 106, 108, 127) THEN 'CASE WHEN ' + name + ' IS NULL THEN ''NULL'' ELSE CAST(' + name + ' AS VARCHAR) END'
WHEN system_type_id IN (40, 41, 42, 43, 58, 61) THEN 'CASE WHEN ' + name + ' IS NULL THEN ''NULL'' ELSE '''''''' + REPLACE(CONVERT(VARCHAR, ' + name + '), '' ::.'', '''') + '''''''' END'
WHEN system_type_id IN (167) THEN 'CASE WHEN ' + name + ' IS NULL THEN ''NULL'' ELSE '''''''' + REPLACE(' + name + ', '''''''', '''''''''''') + '''''''' END'
WHEN system_type_id IN (231) THEN 'CASE WHEN ' + name + ' IS NULL THEN ''NULL'' ELSE ''N'''''' + REPLACE(' + name + ', '''''''','''''''''''') + '''''''' END'
WHEN system_type_id IN (175) THEN 'CASE WHEN ' + name + ' IS NULL THEN ''NULL'' ELSE '''''''' + CAST(REPLACE(' + name + ', '''''''' ,'''''''''''') AS CHAR(' + CAST(max_length AS VARCHAR) + ')) + '''''''' END'
WHEN system_type_id IN (239) THEN 'CASE WHEN ' + name + ' IS NULL THEN ''NULL'' ELSE ''N'''''' + CAST(REPLACE(' + name + ', '''''''' ,'''''''''''') AS CHAR(' + CAST(max_length AS VARCHAR) + ')) + '''''''' END'
ELSE '''NULL'''
END
FROM sys.columns
WHERE object_id = @TableID;

SET @InsertIntoPart = N'INSERT INTO ' + @SchemaTableName + N' (' + @ColumnNames + N')';

IF @IsSingleRow = 1
BEGIN
SET @SQL = N'SELECT ' + @InsertIntoPart + N' + '' VALUES ('' + ' + @ColumnValues + N' + '')'' FROM ' + @SchemaTableName;
END
ELSE
BEGIN
SET @SQL = N'SELECT ''SELECT '' + ' + @ColumnValues + N' AS RowData, ROW_NUMBER() OVER (ORDER BY (SELECT NULL)) AS RowNum FROM ' + @SchemaTableName;
IF LEN(@WhereClause) > 0
BEGIN
SET @SQL = @SQL + N' WHERE ' + @WhereClause;
END
SET @SQL = N'SELECT CASE WHEN t.RowNum = 1 THEN REPLICATE(N'' '', LEN(N''UNION ALL '') + 1) + t.RowData ELSE N''UNION ALL '' + t.RowData END FROM (' + @SQL + N') AS t';
SET @SQL = N'SELECT ' + @InsertIntoPart + N';' + @SQL;
END

PRINT @SQL;
EXEC (@SQL);
END
GO


为了测试该存储过程的效果,我们创建一个包含测试数据的表,并执行以下T-SQL代码:



-- 创建测试表 userlogininfo
IF OBJECT_ID('dbo.userlogininfo', 'U') IS NOT NULL
BEGIN
DROP TABLE dbo.userlogininfo;
END
GO
CREATE TABLE dbo.userlogininfo (
id INT IDENTITY(1, 1) PRIMARY KEY,
name VARCHAR(50) NOT NULL,
logintime DATETIME NOT NULL
);
GO
-- 插入测试数据
INSERT INTO dbo.userlogininfo (name, logintime) VALUES
('zhang', '2023-01-01 08:00:00'),
('li', '2023-01-01 09:00:00'),
('wang', '2023-01-01 10:00:00');
GO

-- 测试单行模式
EXEC dbo.usp_GenerateInsertScript
@TableName = N'userlogininfo',
@WhereClause = N'',
@IsSingleRow = 1;
GO

-- 测试多行模式
EXEC dbo.usp_GenerateInsertScript
@TableName = N'userlogininfo',
@WhereClause = N'',
@IsSingleRow = 0;
GO


执行后的查询结果展示了单行和多行模式下的INSERT语句。注意:对于多行模式,需要将生成的结果合并到一个文件中。


希望这个改进的存储过程能够帮助您更高效地处理SQL Server中的批量数据插入操作。


推荐阅读
  • Windows服务与数据库交互问题解析
    本文探讨了在Windows 10(64位)环境下开发的Windows服务,旨在定期向本地MS SQL Server (v.11)插入记录。尽管服务已成功安装并运行,但记录并未正确插入。我们将详细分析可能的原因及解决方案。 ... [详细]
  • Explore a common issue encountered when implementing an OAuth 1.0a API, specifically the inability to encode null objects and how to resolve it. ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 在前两篇文章中,我们探讨了 ControllerDescriptor 和 ActionDescriptor 这两个描述对象,分别对应控制器和操作方法。本文将基于 MVC3 源码进一步分析 ParameterDescriptor,即用于描述 Action 方法参数的对象,并详细介绍其工作原理。 ... [详细]
  • 本文详细介绍了Akka中的BackoffSupervisor机制,探讨其在处理持久化失败和Actor重启时的应用。通过具体示例,展示了如何配置和使用BackoffSupervisor以实现更细粒度的异常处理。 ... [详细]
  • 本文详细介绍了如何构建一个高效的UI管理系统,集中处理UI页面的打开、关闭、层级管理和页面跳转等问题。通过UIManager统一管理外部切换逻辑,实现功能逻辑分散化和代码复用,支持多人协作开发。 ... [详细]
  • 本文详细介绍了Java中org.w3c.dom.Text类的splitText()方法,通过多个代码示例展示了其实际应用。该方法用于将文本节点在指定位置拆分为两个节点,并保持在文档树中。 ... [详细]
  • IT项目管理过程中的方法、工具、技术
    工欲善其事,必先利其器。而对于一个软件开发项目,最重要的器就是方法,工具和技术。而这三要素中重要的又是方法论,方法是基础&# ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • c# – UWP:BrightnessOverride StartOverride逻辑 ... [详细]
  • 本文详细介绍了Java中org.eclipse.ui.forms.widgets.ExpandableComposite类的addExpansionListener()方法,并提供了多个实际代码示例,帮助开发者更好地理解和使用该方法。这些示例来源于多个知名开源项目,具有很高的参考价值。 ... [详细]
  • 本文深入探讨了 Java 中的 Serializable 接口,解释了其实现机制、用途及注意事项,帮助开发者更好地理解和使用序列化功能。 ... [详细]
  • XNA 3.0 游戏编程:从 XML 文件加载数据
    本文介绍如何在 XNA 3.0 游戏项目中从 XML 文件加载数据。我们将探讨如何将 XML 数据序列化为二进制文件,并通过内容管道加载到游戏中。此外,还会涉及自定义类型读取器和写入器的实现。 ... [详细]
author-avatar
单身男人adgjm
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有