当前位置: 开发笔记 > 后端 > 正文

大数据从雏形到发展,详述传统数据仓库到大数据平台的转化及大数据的可视化应用

作者：灬我的独一小姐灬 | 来源：互联网 | 2023-07-10 14:28

问题导读：1.为什么要建设大数据平台？2.大数据平台的业务架构有哪几块？3.数据可视化的原因是什么？4.数据可视化的意义在于

问题导读&＃xff1a;

1.  为什么要建设大数据平台&＃xff1f;
2.  大数据平台的业务架构有哪几块&＃xff1f;
3.  数据可视化的原因是什么&＃xff1f;
4.  数据可视化的意义在于什么&＃xff1f;

本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展&＃xff0c;以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。

大数据显雏形——发展

所有公司在一开始时&＃xff0c;数据的建设都是比较落后的&＃xff0c;但随着互联网的环境推动&＃xff0c;以及公司计划2013年在纽约交易所上市&＃xff0c;这时候面临一个很大的问题。在上市之前&＃xff0c;公司的数据&＃xff0c;无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此&＃xff0c;我们开始整理数据&＃xff0c;做数据报表&＃xff0c;花费一年多的时间做数据整理、数据规范&＃xff0c;慢慢的大数据的平台有了雏形。

后来公司上市之后&＃xff0c;数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。

2015年到2016年这两年&＃xff0c;公司将目标投入到数据智能上&＃xff0c;建立了一个非常大的系统平台&＃xff0c;并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上&＃xff0c;我们不仅仅要进行管理销售&＃xff0c;还要构建销售能力模型&＃xff0c;预测未来业绩。因为在美国市场的股价&＃xff0c;更多的是依赖公司未来的发展&＃xff0c;公司未来预期决定了公司现在的股价&＃xff0c;因此总共的业绩预测非常重要&＃xff0c;能够非常精确的预测销售更加重要。

大数据平台建设

公司拥有很多的业务数据库&＃xff0c;有订单、CRM、合同管理、人力资源等数据库。以往&＃xff0c;我们会把这些数据库里的数据做集成&＃xff0c;做一个简单的数据仓库&＃xff0c;然后根据业务需求&＃xff0c;在数据集成的基础上&＃xff0c;通过帆软报表建立一个决策系统&＃xff0c;做数据展示&＃xff0c;提供服务。这个过程的好处是开发成本低&＃xff0c;投入成本低&＃xff0c;技术架构简单&＃xff0c;可以非常快速的在公司内部运行起来。

但是这样的方式随着业务系统的增多&＃xff0c;逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大&＃xff1b;数据存储能力受限&＃xff0c;无法追溯较远的历史数据。二是很多情况下&＃xff0c;不同的产品经理和工程师所提的需求是不同的&＃xff0c;而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标&＃xff0c;由于数据指标定义不一致&＃xff0c;存在意义相近重复指标的时候&＃xff0c;管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控&＃xff0c;这会导致IT部门工作压力较大。

除了以上反映的问题&＃xff0c;公司在基于未来发展情况下又呈现了新一轮的现状&＃xff0c;并提出了以下需求&＃xff1a;

业务的多元化发展&＃xff0c;公司大量的并购导致集团数据量和数据需求爆发式增长&＃xff1b;
数据网状流通&＃xff0c;基础数据、数据指标缺少统一的元数据管理&＃xff1b;
为了更好发掘数据价值&＃xff0c;提升数据能力、构建标准化数据体系成为当务之急。

大数据平台业务架构

集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理&＃xff0c;数据模型的开发以及建立统一的数据标准。第二个是数据开发员&＃xff0c;它会对接产品&＃xff0c;然后去做一些业务开发。第三个是业务人员&＃xff0c;业务人员是运营、销售、市场人员&＃xff0c;在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门&＃xff0c;他们有很多对于审计包括公司一些非常核心的数据的分析需求&＃xff0c;他们会通过独立的数据查询系统实现数据多维度分析。

下图是技术架构&＃xff0c;在底层进行数据存储&＃xff0c;抓取数据&＃xff0c;并将存储层的数据传给处理层&＃xff0c;在处理层完成业务计算&＃xff0c;形成指标。然后前端通过帆软报表的应用&＃xff0c;将数据以业务报表的方式进行图形化展示&＃xff0c;并在移动报表APP上进行展示。

除去这个&＃xff0c;我们还在管理上做了数据中心的建设规范。然后是数据质量管理&＃xff0c;包括确保数据的准确性&＃xff0c;为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。

大数据可视化

数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面&＃xff0c;由于我们

1、需求来源多&＃xff1a;团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门&＃xff0c;且各个部门关注的指标千差万别。

2、报表可视化方式多&＃xff1a;需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求&＃xff0c;还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。

3、自定义开发多&＃xff1a;为了对接公司内部的业务系统&＃xff0c;需要经常自定义开发。

所以&＃xff0c;需要一个满足这些需求的可视化报表开发工具。这一块&＃xff0c;无论从最初的传统数据仓库方式还是现在的大数据平台&＃xff0c;我们都选择了帆软报表。

优势如下&＃xff1a;

类EXCEL设计风格&＃xff1a;操作界面大大降低了学习成本。
多数据源支持&＃xff1a;接入个各个部门的各个类型的数据库非常方便。
优秀的图标展示&＃xff1a;HTML5图表技术&＃xff0c;支持多种图表类型、样式、风格&＃xff0c;参数传递灵活&＃xff0c;交互效果丰富。
友好的接口&＃xff1a;开发人员使用网页脚本、API接口等进行深入的开发与控制&＃xff0c;支持插件开发、安装、使用和管理&＃xff0c;以满足其个性化的需求。

可视化展示

推荐阅读

api
国内BI工具迎战国际巨头Tableau，稳步崛起

尽管商业智能（BI）工具在中国的普及程度尚不及国际市场，但近年来，随着本土企业的持续创新和市场推广，国内主流BI工具正逐渐崭露头角。面对国际品牌如Tableau的强大竞争，国内BI工具通过不断优化产品和技术，赢得了越来越多用户的认可。 ... [详细]

蜡笔小新 2024-12-28 11:12:44
go
Hadoop入门与核心组件详解

本文详细介绍了Hadoop的基础知识及其核心组件，包括HDFS、MapReduce和YARN。通过本文，读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]

蜡笔小新 2024-12-26 13:12:48
go
基于双Xilinx Kintex-7 FPGA的高性能6U VPX存储板

VPX611是北京青翼科技推出的一款采用6U VPX架构的高性能数据存储板。该板卡搭载两片Xilinx Kintex-7系列FPGA作为主控单元，内置RAID控制器，支持多达8个mSATA盘，最大存储容量可达8TB，持续写入带宽高达3.2GB/s。 ... [详细]

蜡笔小新 2024-12-26 11:41:58
go
IT项目管理过程中的方法、工具、技术

工欲善其事，必先利其器。而对于一个软件开发项目，最重要的器就是方法，工具和技术。而这三要素中重要的又是方法论，方法是基础&# ... [详细]

蜡笔小新 2024-12-27 21:03:43
上传
PHP 5.2.5 安装与配置指南

本文详细介绍了 PHP 5.2.5 的安装和配置步骤，帮助开发者解决常见的环境配置问题，特别是上传图片时遇到的错误。通过本教程，您可以顺利搭建并优化 PHP 运行环境。 ... [详细]

蜡笔小新 2024-12-27 19:05:41
dns
Ralph的Kubernetes进阶之旅：集群架构与对象解析

本文深入探讨了Kubernetes集群的架构和核心对象，详细介绍了Pod、Service、Volume等基本组件，以及更高层次的抽象如Deployment、StatefulSet等，帮助读者全面理解Kubernetes的工作原理。 ... [详细]

蜡笔小新 2024-12-26 14:15:32
sockets
深入探讨CPU虚拟化与KVM内存管理

本文详细介绍了现代服务器架构中的CPU虚拟化技术，包括SMP、NUMA和MPP三种多处理器结构，并深入探讨了KVM的内存虚拟化机制。通过对比不同架构的特点和应用场景，帮助读者理解如何选择最适合的架构以优化性能。 ... [详细]

蜡笔小新 2024-12-25 19:15:51
sockets
对MariaDB未来发展的思考与担忧

本文探讨了MariaDB在当前数据库市场中的地位和挑战，分析其可能面临的困境，并提出了对未来发展的几点看法。 ... [详细]

蜡笔小新 2024-12-25 18:20:32
sockets
福克斯新闻数据库配置失误导致1300万条敏感记录泄露

由于数据库配置错误，福克斯新闻暴露了一个58GB的未受保护数据库，其中包含约1300万条网络内容管理记录。任何互联网用户都可以访问这些数据，引发了严重的安全风险。 ... [详细]

蜡笔小新 2024-12-22 17:57:10
sockets
简化报表生成：EasyReport工具的全面解析

本文详细介绍了EasyReport，一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库，能够将SQL查询结果转换为HTML表格，并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]

蜡笔小新 2024-12-22 11:11:28
sockets
鼠标悬停出现提示信息怎么做

概述–提示：指启示，提起注意或给予提醒和解释。在excel中会经常用到给某个格子增加提醒信息，比如金额提示输入数值或最大长度值等等。设置方式也有多种，简单的，仅为单元格插入批注就可 ... [详细]

蜡笔小新 2024-12-22 06:20:26
go
Java SpringMVC SSM 实现多模块集成：操作日志、文件管理、头像编辑、权限控制及缓存优化

本文介绍了一个基于 Java SpringMVC 和 SSM 框架的综合系统，涵盖了操作日志记录、文件管理、头像编辑、权限控制、以及多种技术集成如 Shiro、Redis 等，旨在提供一个高效且功能丰富的开发平台。 ... [详细]

蜡笔小新 2024-12-20 19:17:47
go
SQL中UPDATE SET FROM语句的使用方法及应用场景

本文详细介绍了SQL中UPDATE SET FROM语句的使用方法，通过具体示例展示了如何利用该语句高效地更新多表关联数据。适合数据库管理员和开发人员参考。 ... [详细]

蜡笔小新 2024-12-28 10:22:16
go
ABBYY FineReader：高效PDF转换、精准OCR识别与文档对比工具

在处理PDF转换和OCR识别时，您是否遇到过格式混乱、识别率低或图表无法正常识别的问题？ABBYY FineReader以其强大的功能和高精度的识别技术，完美解决这些问题，帮助您轻松找到最终版文档。 ... [详细]

蜡笔小新 2024-12-21 23:24:02
go
SQL Server 相关

1.执行sqlsever存储过程，消息：SQLServer阻止了对组件“AdHocDistributedQueries”的STATEMENT“OpenRowsetOpenDatas ... [详细]

蜡笔小新 2024-12-21 20:05:21

灬我的独一小姐灬

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章