热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

【问】如何应对关系型数据库中列的不断增加

光看文章的题目可能很难明白我想说什么,还是先描述一下项目中遇到的问题吧。我们项目中一张这样的表用来保存各种资源,假设为资源1、资源2等等,用ResGenre来标识。我们可以认为资源类型是一个抽象的概念,资源1、资源2这些都是资源子类。一开始所有

光看文章的题目可能很难明白我想说什么,还是先描述一下项目中遇到的问题吧。 我们项目中一张这样的表用来保存各种资源,假设为资源1、资源2等等,用ResGenre来标识。 我们可以认为 资源类型 是一个抽象的概念,资源1、资源2这些都是 资源子类 。一开始所有

光看文章的题目可能很难明白我想说什么,还是先描述一下项目中遇到的问题吧。

我们项目中一张这样的表用来保存各种“资源”,假设为资源1、资源2……等等,用ResGenre来标识。

我们可以认为资源类型是一个抽象的概念,资源1、资源2这些都是资源子类。一开始所有这些子类型都只有ResId,ResName等几个字段,一张ResInfo表就可以满足需求了。但是我们都知道项目千变万化,唯一不变的就是“变化”。随着业务的发展可能资源子类型越来越多,头疼的是原来的这张表的几个字段已经满足不了需求了,各个子类型的字段在不断扩充,最头疼的是它们加的字段都各不相同……这时该怎么办?

大概有以下几种办法:

单表继承

所谓单表继承就是所有的字段都保存在一张表上,增加字段时就扩充原来的表。

这种方法优点简单粗暴,当子类型很少以及子类型的特殊属性很少的时候还是可取的。但是如果子类型达到了10几个,而且子类型的字段很多时缺点也显而易见:冗余太多,某一行记录存在许多与当前子类无关的属性,而且页面管理起来也相当繁琐,每次增加一个字段的时候,所有子类型都受到影响。

每个子类型创建一个表

添加一个子类型就增加一张表。

……

两个子类型存储完全独立,每增加一张表页面就要重新管理一张表,子类型很多的时候这种方式也不是很好。

多表继承

既有基表,又有子类型表,就像面向对象里面的继承。

多表继承的方式可以减少字段的冗余,但是同样的子类型很多时,表较多,管理起来比较麻烦。

半结构化数据模型

如果有很多子类型或者必须经常增加新的字段支持,那么可以用一个BLOB列来存储数据,用XML或者JSON格式。

Property是一个属性列:它可以用Json来存储额外增加的字段:同时包含了字段名字和值。

{
     "Field1":"Value1","Field2":"Value2"
}

这种方式实际上是在关系型数据库里运用了nosql的思想,有点实现了MongoDB的无模式文档存储的意思,但是我们都知道无模式的存储好处是扩展方便,坏处是更新修改麻烦。我们用的是sql,解析json或xml起来肯定比用C#或Java麻烦,所以使用这种方式我更倾向于将更多的业务逻辑抽离应用程序的代码中处理。

使用NoSql

这种处于关系型和非关系型之间数据存储要求,让我们第一个想到的肯定是MongoDB。而且MongoDB sql to aggregation基本实现了常用的关系型操作。但是考虑各种其他因素,这种方法成本比较高。

上面的几种方法经过反复斟酌,不用nosql那么关系型数据库还应该干关系型数据库的事情,我放弃了一开始用“半结构化数据模型”这种方式的打算,但其他两种方式我也觉得不太合适,下面说下我最后准备使用的方法。

使用行转列的方式

和多表继承类似,有一个基表用来保存各个子类型共有的字段,这张表也可以叫做索引表,故名思议索引建立在上面。

ResGenre表就是用来定义资源子类型的,ColumnMeta表用来定义新增列的元数据:

ResGenreColumnRelation表用来绑定一个子类型有哪些字段:

最后一张表来绑定一条资源记录扩展列的值:

那么如何在查询的时候获取到一个资源的扩展字段和对应的值呢?如图一个测试表有数据如下:

可以看到子类型14,15,16绑定了不同的列。

我们想要得到结果应该是这样的:

可以看到返回的结果集其实也是冗余的,对于一个ResID没绑定的列为NULL。

在sqlserver2005中实现行转列的方式不需要再用CASE WHEN了,用PIVOT方便多了:

SELECT *
FROM ColumnDataBind 
PIVOT
(
    Max(ColValue) for [ColName] in ([Age],[High],[Sex],[Weight])
)TBL

需要注意的是PIVOT中必须要用聚合函数。因为ResGenreColumnRelation表用ResID和ColName作为键,所以PIVOT聚合时ColValue只有一个,用Max就行了。

也可以跟上查询条件,减小操作数据集:

SELECT *
FROM ColumnDataBind 
PIVOT
(
    Max(ColValue) for [ColName] in ([Age],[High],[Sex],[Weight])
)TBL
where genreid =14

当然既然实现的是能随便扩展列,那么一个资源绑定了哪些列肯定不知道的,动态行转列也是必不可少的,有了PIVOT也很简单:

declare @sql varchar(8000)
select @sql = isnull(@sql + '],[' , '') + ColName from ColumnDataBind group by ColName
set @sql = '[' + @sql + ']'
print @sql

exec('SELECT * FROM ColumnDataBind PIVOT(Max(ColValue) for [ColName] in ('+@sql+'))TBL')

这是在sqlserver2005+中实现动态行转列的方式,不知道MySql有没有PIVOT。

通过这种方式当增加一个列的时候通过页面就能搞定,数据库就不需要频繁的改动了,而且更符合关系型数据库的操作。

但是写完我又在“行转列”和“半结构化数据模型”之间犹豫了?前者应该能给予更大的灵活,但总觉得哪里很别扭,后者用起来估计也比较麻烦,设计经验不足,不知道哪位大神能指点指点?

推荐阅读
  • 本文深入探讨了NoSQL数据库的四大主要类型:键值对存储、文档存储、列式存储和图数据库。NoSQL(Not Only SQL)是指一系列非关系型数据库系统,它们不依赖于固定模式的数据存储方式,能够灵活处理大规模、高并发的数据需求。键值对存储适用于简单的数据结构;文档存储支持复杂的数据对象;列式存储优化了大数据量的读写性能;而图数据库则擅长处理复杂的关系网络。每种类型的NoSQL数据库都有其独特的优势和应用场景,本文将详细分析它们的特点及应用实例。 ... [详细]
  • MongoDB的核心特性与架构解析
    本文深入探讨了MongoDB的核心特性,包括其强大的查询语言、灵活的文档模型以及高效的索引机制。此外,还详细介绍了MongoDB的体系结构,解释了其文档、集合和数据库的层次关系,并对比了MongoDB与传统关系型数据库(如MySQL)的逻辑结构。 ... [详细]
  • 本文探讨了Web开发与游戏开发之间的主要区别,旨在帮助开发者更好地理解两种开发领域的特性和需求。文章基于作者的实际经验和网络资料整理而成。 ... [详细]
  • MySQL 8.0 新特性详解:免费视频教程上线
    本文介绍了一套在慕课网上发布的免费视频教程,深入解析 MySQL 8.0 的核心新功能,包括增强的安全性、用户管理、新的索引类型、CTE 和窗口函数等。 ... [详细]
  • Redis:缓存与内存数据库详解
    本文介绍了数据库的基本分类,重点探讨了关系型与非关系型数据库的区别,并详细解析了Redis作为非关系型数据库的特点、工作模式、优点及持久化机制。 ... [详细]
  • MongoDB核心概念详解
    本文介绍了NoSQL数据库的概念及其应用场景,重点解析了MongoDB的基本特性、数据结构以及常用操作。MongoDB是一个高性能、高可用且易于扩展的文档数据库系统。 ... [详细]
  • 在CentOS 7环境中安装配置Redis及使用Redis Desktop Manager连接时的注意事项与技巧
    在 CentOS 7 环境中安装和配置 Redis 时,需要注意一些关键步骤和最佳实践。本文详细介绍了从安装 Redis 到配置其基本参数的全过程,并提供了使用 Redis Desktop Manager 连接 Redis 服务器的技巧和注意事项。此外,还探讨了如何优化性能和确保数据安全,帮助用户在生产环境中高效地管理和使用 Redis。 ... [详细]
  • Spring Cloud Config 使用 Vault 作为配置存储
    本文探讨了如何在Spring Cloud Config中集成HashiCorp Vault作为配置存储解决方案,基于Spring Cloud Hoxton.RELEASE及Spring Boot 2.2.1.RELEASE版本。文章还提供了详细的配置示例和实践建议。 ... [详细]
  • 本文将详细介绍如何在ThinkPHP6框架中实现多数据库的部署,包括读写分离的策略,以及如何通过负载均衡和MySQL同步技术优化数据库性能。 ... [详细]
  • ODBC介绍:开放式数据库连接详解
    本文详细介绍了ODBC(开放式数据库连接),这是一种允许应用程序访问多种数据库系统的标准API。自1992年由微软与Simba合作推出以来,ODBC已成为跨平台数据访问的重要标准。 ... [详细]
  • 本文详细介绍了如何构建MongoDB的ReplSet复制集群,包括环境准备、配置文件设置以及初始化复制集群的具体步骤。 ... [详细]
  • 本文档详细介绍了如何在MongoDB命令行中执行基本操作,包括数据库的选择与创建、文档的插入与查询、文档的更新与删除等。同时,还涵盖了条件查询、统计、模糊查询等高级功能。 ... [详细]
  • 构建高性能Feed流系统的设计指南
    随着移动互联网的发展,Feed流系统成为了众多社交应用的核心组成部分。本文将深入探讨如何设计一个高效、稳定的Feed流系统,涵盖从基础架构到高级特性的各个方面。 ... [详细]
  • 本文档旨在为初学者提供MongoDB的基础知识介绍,包括其作为文档型数据库的特点、基本概念以及如何通过命令行界面(CLI)执行基本的操作。 ... [详细]
  • 如何在U8系统中连接服务器并获取数据
    本文介绍了如何在U8系统中通过不同的方法连接服务器并获取数据,包括使用MySQL客户端连接实例的方法,如非SSL连接和SSL连接,并提供了详细的步骤和注意事项。 ... [详细]
author-avatar
mobiledu2502911073
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有