热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

报表平台——体系架构

作为一个PM,通过向开发同学的咨询和自我学习,整理了一下报表平台的架构体系(偏开发方面)~如有不足࿰

       作为一个PM,通过向开发同学的咨询和自我学习,整理了一下报表平台的架构体系(偏开发方面)~如有不足,请各位大佬指正~~~

       先来讲报表平台的发展过程,报表平台的发展历经多个阶段,这些不同的阶段是用户诉求不断得到满足的一个过程。初始是以excel 表格的形式进行业务的数据分析,但存在数据量的限制,当数据量达到10万以上时,excel 会出现卡顿、等待时间较长的问题。所以出现了传统的数据报表系统,数据量的问题得到解决,但依旧存在着报表系统只是作为数据的展现无法进一步分析,报表逻辑修改无法及时响应业务诉求的问题。随着大数据的出现及技术的迭代更新,比如依赖于大数据平台的OLAP分析技术 ,促使当前的报表发展已经进入了智能阶段,报表的开发可以不强依赖开发人员,分析维度也可以根据业务的诉求自由组合,时效上可达到实时分析。

        智能报表平台智能的原因是可以根据用户诉求实现自主分析,自主分析保证了用户各个维度可进行组合分析,这些操作的过程依赖的是OLAP技术。

        OLAP快速实现多维数据的查询分析,只有这个技术不足以完成整个报表系统的运转,接下来将从数据源、数据建模、数据分析3大块来介绍报表平台的架构体系。

       1、数据源

       报表的数据是由数仓提供的,数仓的数据来源是经由上游业务系统的业务数据经过ETL(ETL包含抽取、清洗、转换,其中抽取包含3种,SQL语句抽取、数据文件同步、增量抽取,增量抽取通过记录最后抽取的时间,选择比最后一次抽取时间大的时间进行抽取;清洗完成重复数据、空数据、错误数据的清洗;转换处理的是字段格式的不统一、根据业务诉求,将原始的明细数据加工处理生成业务数据的过程)处理后同步到数仓,数仓加工生成4层模型,分别是ODS、DWD、DWS、ADS ,ODS层同步原始数据,DWD层完成初加工ODS层转换过来数据,生成明细数据,DWS层完成数据的大宽表的加工,供后续的查询,由此完成报表的数据提供。

 

     2、数据建模

         有了数据之后,通过平台要进行分析,为了便于分析,需要进行建模的过程,提高分析、查询的效率。为分析进行的建模采用维度建模,涉及建模需要先讲一下维度和度量。


  • 维度:简单来说就是不能做加和的东西,比如:时间、地域、产品分类等。涉及维度,包含有维度层级、具体维度值,比如地域维度有省、市、区 3个层级,具体的维值为:浦东新区。
  • 度量:度量就是描述事物的具体数值指标,比如描述一个人,170cm,53kg.。

     维度建模的过程就是为了便于分析,维度建模的模型包含有:星型模型、雪花模型、星座模型,在此只介绍常用的前2种模型。

      星型模型:主要基于1张事实表和多张维表进行关联(名词解释,事实表:主要包含要分析的数值数据及实现和维表关联的ID;维度表:一般只有一个主键id和事实表关联,主要包含的是属性类的数据)。

      雪花模型:基于星型模型的拓展,比星型多了维表与维表之间的关联。

     

 

                                                   

 

        3、数据分析

          针对生成的多维数据模型(又可称作数据立方体),对数据进行分析操作实际是对数据立方体的操作。

           数据立方体的操作:包含有上卷、下钻、切片、切块、旋转。下面将以具体的例子说明:

           比如我们当前 计算1月份光大银行的放款金额,针对上卷、下钻、切片、切块、旋转怎么处理的呢?

           上卷:计算1季度(1、2、3月份)的北区银行的放款金额,其中1季度的计算,就是上卷。

           下钻:计算1月1号的的北区的放款金额,其中将1月份下钻分析到具体的1号,就是下钻。

           切片:将区域切片,计算北区的1-5月份的申请件数、审批件数、放款件数,针对的是某一维度下分析。

           切块:比切片的粒度更粗,比如计算1-2月份北区的申请、审批、放款件数,将时间维度切部分,区域切部分。     

 

 

以上,便是对报表平台偏技术方面的体系架构的梳理,烦请各位指正~~

 

 

 

 

 

 

 


推荐阅读
  • 福克斯新闻数据库配置失误导致1300万条敏感记录泄露
    由于数据库配置错误,福克斯新闻暴露了一个58GB的未受保护数据库,其中包含约1300万条网络内容管理记录。任何互联网用户都可以访问这些数据,引发了严重的安全风险。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • 本文探讨了领域驱动设计(DDD)的核心概念、应用场景及其实现方式,详细介绍了其在企业级软件开发中的优势和挑战。通过对比事务脚本与领域模型,展示了DDD如何提升系统的可维护性和扩展性。 ... [详细]
  • 简化报表生成:EasyReport工具的全面解析
    本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]
  • 本文介绍了解决在Windows操作系统或SQL Server Management Studio (SSMS) 中遇到的“microsoft.ACE.oledb.12.0”提供程序未注册问题的方法,特别针对Access Database Engine组件的安装。 ... [详细]
  • 本文介绍了一个基于 Java SpringMVC 和 SSM 框架的综合系统,涵盖了操作日志记录、文件管理、头像编辑、权限控制、以及多种技术集成如 Shiro、Redis 等,旨在提供一个高效且功能丰富的开发平台。 ... [详细]
  • 智慧城市建设现状及未来趋势
    随着新基建政策的推进及‘十四五’规划的实施,我国正步入以5G、人工智能等先进技术引领的智慧经济新时代。规划强调加速数字化转型,促进数字政府建设,新基建政策亦倡导城市基础设施的全面数字化。本文探讨了智慧城市的发展背景、全球及国内进展、市场规模、架构设计,以及百度、阿里、腾讯、华为等领军企业在该领域的布局策略。 ... [详细]
  • IT项目管理过程中的方法、工具、技术
    工欲善其事,必先利其器。而对于一个软件开发项目,最重要的器就是方法,工具和技术。而这三要素中重要的又是方法论,方法是基础&# ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 本文详细介绍了如何通过多种编程语言(如PHP、JSP)实现网站与MySQL数据库的连接,包括创建数据库、表的基本操作,以及数据的读取和写入方法。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • ABBYY FineReader:高效PDF转换、精准OCR识别与文档对比工具
    在处理PDF转换和OCR识别时,您是否遇到过格式混乱、识别率低或图表无法正常识别的问题?ABBYY FineReader以其强大的功能和高精度的识别技术,完美解决这些问题,帮助您轻松找到最终版文档。 ... [详细]
  • 1.执行sqlsever存储过程,消息:SQLServer阻止了对组件“AdHocDistributedQueries”的STATEMENT“OpenRowsetOpenDatas ... [详细]
author-avatar
流行天王MJ
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有