热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

存储空间容量优化

在某电力用户营销系统数据库运维的过程中,常常遇到这样的问题,系统运行一段时间之后,基础数据平台数据库存储增速很快,导致营销基础存储已无多余的存储,而存储已经无法扩容,如果不做相应的

存储空间不足?一个严重但普遍存在的问题

在某电力用户营销系统数据库运维的过程中,常常遇到这样的问题,系统运行一段时间之后,基础数据平台数据库存储增速很快,导致营销基础存储已无多余的存储,而存储已经无法扩容,如果不做相应的处理,极有可能由于表空间不足造成业务停运!

问题发生的原因

1、大量的可清理数据

营销基础数据平台数据库存储增速过快,部分表及索引已经超过1T,而大量数据都是从营销相关的系统抽取过来的,经过清理分析后部分数据已经无任何存在的价值。完全可以清理掉。

2、表空间可用率低

一方面大部分营销基础数据平台表空间可用率都低于10%,甚至不足1%;另一方面部分表空间空间使用率不足1%,完全是空闲的表空间,浪费比较多空间,完全可以回收。

3、表碎片严重

部分表的碎片非常严重,例如:某张结果表在etl过程中频繁的被dml语句操作,可能导致整个表的碎片激增,占用的空间放大到10倍以上。

肿么办——多种方式并用,分析+优化

案例:实战中是这样处理的

招数1 数据分析及历史数据清理

运维工程师和系统应用人员对大表的数据讨论、分析和总结,保留了原有表结构,清理2013年以前的数据(约50G)。对2013年前的表分区进行trunc,以达到空间释放的效果。经过清理,部分巨大的表空间使用率大幅度下降,使用率由95%以上下降到了60%以下。大部分1T以上表清理后仅仅剩余不到500G。

招数2 表空间使用情况分析与回收

经过数据清理之后,部分表空间可用率得到显著上升,但仍然存在部分小的表空间可用率比较低,需要扩容,但是ASM磁盘空间并没有回收,空间剩余不足800G,非常紧张。因此resize使用率低于20%的数据文件,回收 ASM磁盘空间。回收完成后,ASM磁盘剩余空间达到5.5 T。足够半年使用率。

招数3 碎片整理分析及重建

一般地,经过以上处理之后,ASM磁盘剩余空间将满足系统使用,如果希望继续优化,可以考虑表move 存储。方法为:先对数据库的碎片严重的表进行分析统计,再用碎片整理脚本进行move处理。处理后预计可获得3-5T空间。

效果:存储空间回来了!

优化前后表空间空间释放情况统计(仅含关键表空间):

 

TABLESPACE_NAME

总容量

(MB)

优化前空闲容量

(MB)

优化后空闲容量

(MB)

SHAREDATA

10388205

1709440.69

4809839

CACHE_FK_DATA

5914491

977220.38

4305221

CACHE_YX_DATA

1533913

310064.63

325059

SHAREIDX

1331165

471248.44

280078

CACHE_YX_IDX

1310680

211219.25

332193

UNDOTBS2

1021252

129867.63

983274

CACHE_PT3_DATA

906215

170223

350284

CACHE_PT1_DATA

906215

172394.63

344947

SHARE_PT1_DATA

880615

190168.06

247428

CACHE_CJ_IDX

1000422

145883.25

813668

SHARE_PT2_DATA

818154

141511.25

212017

CACHE_PT4_DATA

797674

144461

316867

CACHE_PT2_DATA

813034

119682.56

271228

CACHE_PT5_DATA

755693

131709

350037

SHARE_PT6_DATA

771053

114376.31

187583

SHARE_PT3_DATA

728046

151147.5

238717

SHARE_PT5_DATA

735213

128449.88

239070

SHARE_PT4_DATA

735213

107636.44

239683

总计

31347253

5526703.9

14847193

释放空间

9320489.1

 

总计释放空间9.3T,占总空间的40%左右!

 

优化前后ASM磁盘空间释放情况(未进行碎片处理)

 

DISKGROUP NAME

总计大小

优化前剩余空间

优化后剩余空间

Data

37T

800G

5.5T

价值解读

避免系统停运

首先,对系统使用者来说,系统停运所面临的损失是最严重的。通过优化成功避免了系统停运。

提高性能

在上文的案例中,相当比例的表中存在大量垃圾数据,部分表空间根本没有使用。清理整理优化后,空间释放率40%以上,节约存储10T以上,系统性能得到显著提高。

节约成本

经过优化得到的10T空间。以目前的市场情况估计,硬盘购置费用约15万,存储其他配件约15万,每年的电费等其他维护费用20万。每年节约的费用总计可达50万。

服务创造价值!

试试优化您的存储空间,保障业务系统持续稳定运行,有备无患。

联系海天起点:010-58701010  专注于IT运维和SaaS,助力提升系统性能和用户体验,实现您的业务价值。

长按并关注

 

 



推荐阅读
  • 福克斯新闻数据库配置失误导致1300万条敏感记录泄露
    由于数据库配置错误,福克斯新闻暴露了一个58GB的未受保护数据库,其中包含约1300万条网络内容管理记录。任何互联网用户都可以访问这些数据,引发了严重的安全风险。 ... [详细]
  • 本文探讨了大型服务端开发过程中常见的几个误区,包括异步任务处理不当、日志同步模式使用、网络操作未设置超时、缓存命中率及响应时间未统计、单一缓存模式、分布式缓存加锁不当以及团队管理上的误区,旨在帮助开发者避免这些常见错误。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • HBase运维工具全解析
    本文深入探讨了HBase常用的运维工具,详细介绍了每种工具的功能、使用场景及操作示例。对于HBase的开发人员和运维工程师来说,这些工具是日常管理和故障排查的重要手段。 ... [详细]
  • 解决U盘安装系统后无法重启的问题
    本文详细探讨了运维新手常遇到的U盘安装系统后无法正常重启的问题,提供了从问题分析到具体解决方案的完整步骤。通过理解Boot Loader的工作原理和正确配置启动项,帮助用户顺利解决问题。 ... [详细]
  • 科研单位信息系统中的DevOps实践与优化
    本文探讨了某科研单位通过引入云原生平台实现DevOps开发和运维一体化,显著提升了项目交付效率和产品质量。详细介绍了如何在实际项目中应用DevOps理念,解决了传统开发模式下的诸多痛点。 ... [详细]
  • Kubernetes 持久化存储与数据卷详解
    本文深入探讨 Kubernetes 中持久化存储的使用场景、PV/PVC/StorageClass 的基本操作及其实现原理,旨在帮助读者理解如何高效管理容器化应用的数据持久化需求。 ... [详细]
  • 通常情况下,修改my.cnf配置文件后需要重启MySQL服务才能使新参数生效。然而,通过特定命令可以在不重启服务的情况下实现配置的即时更新。本文将详细介绍如何在线调整MySQL配置,并验证其有效性。 ... [详细]
  • 本文探讨了现代分布式架构的多样性,包括高并发、多活数据中心、容器化、微服务、高可用性和弹性架构等,并介绍了与这些架构相关的重要管理技术,如DevOps、应用监控和自动化运维。文章还深入分析了分布式系统的核心概念、主要用途及类型,同时对比了单体应用与分布式服务化的优缺点。 ... [详细]
  • 全能终端工具推荐:高效、免费、易用
    介绍一款备受好评的全能型终端工具——MobaXterm,它不仅功能强大,而且完全免费,适合各类用户使用。 ... [详细]
  • 深入解析Serverless架构模式
    本文将详细介绍Serverless架构模式的核心概念、工作原理及其优势。通过对比传统架构,探讨Serverless如何简化应用开发与运维流程,并介绍当前主流的Serverless平台。 ... [详细]
  • Spring Cloud学习指南:深入理解微服务架构
    本文介绍了微服务架构的基本概念及其在Spring Cloud中的实现。讨论了微服务架构的主要优势,如简化开发和维护、快速启动、灵活的技术栈选择以及按需扩展的能力。同时,也探讨了微服务架构面临的挑战,包括较高的运维要求、分布式系统的复杂性、接口调整的成本等问题。最后,文章提出了实施微服务时应遵循的设计原则。 ... [详细]
  • NFS(Network File System)即网络文件系统,是一种分布式文件系统协议,主要用于Unix和类Unix系统之间的文件共享。本文详细介绍NFS的配置文件/etc/exports和相关服务配置,帮助读者理解如何在Linux环境中配置NFS客户端。 ... [详细]
  • 本文详细介绍了 Kubernetes 集群管理工具 kubectl 的基本使用方法,涵盖了一系列常用的命令及其应用场景,旨在帮助初学者快速掌握 kubectl 的基本操作。 ... [详细]
  • 2023年最佳PHP开发学习路径推荐
    本文详细探讨了针对不同背景的学习者如何选择最适合自己的PHP开发学习资源,包括书籍、在线课程及培训机构的推荐。 ... [详细]
author-avatar
博瑞装饰王龙骏
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有