当前位置: 开发笔记 > 后端 > 正文

大数据从雏形到发展,详述传统数据仓库到大数据平台的转化及大数据的可视化应用

作者：灬我的独一小姐灬 | 来源：互联网 | 2023-07-10 14:28

问题导读：1.为什么要建设大数据平台？2.大数据平台的业务架构有哪几块？3.数据可视化的原因是什么？4.数据可视化的意义在于

问题导读&＃xff1a;

1.  为什么要建设大数据平台&＃xff1f;
2.  大数据平台的业务架构有哪几块&＃xff1f;
3.  数据可视化的原因是什么&＃xff1f;
4.  数据可视化的意义在于什么&＃xff1f;

本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展&＃xff0c;以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。

大数据显雏形——发展

所有公司在一开始时&＃xff0c;数据的建设都是比较落后的&＃xff0c;但随着互联网的环境推动&＃xff0c;以及公司计划2013年在纽约交易所上市&＃xff0c;这时候面临一个很大的问题。在上市之前&＃xff0c;公司的数据&＃xff0c;无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此&＃xff0c;我们开始整理数据&＃xff0c;做数据报表&＃xff0c;花费一年多的时间做数据整理、数据规范&＃xff0c;慢慢的大数据的平台有了雏形。

后来公司上市之后&＃xff0c;数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。

2015年到2016年这两年&＃xff0c;公司将目标投入到数据智能上&＃xff0c;建立了一个非常大的系统平台&＃xff0c;并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上&＃xff0c;我们不仅仅要进行管理销售&＃xff0c;还要构建销售能力模型&＃xff0c;预测未来业绩。因为在美国市场的股价&＃xff0c;更多的是依赖公司未来的发展&＃xff0c;公司未来预期决定了公司现在的股价&＃xff0c;因此总共的业绩预测非常重要&＃xff0c;能够非常精确的预测销售更加重要。

大数据平台建设

公司拥有很多的业务数据库&＃xff0c;有订单、CRM、合同管理、人力资源等数据库。以往&＃xff0c;我们会把这些数据库里的数据做集成&＃xff0c;做一个简单的数据仓库&＃xff0c;然后根据业务需求&＃xff0c;在数据集成的基础上&＃xff0c;通过帆软报表建立一个决策系统&＃xff0c;做数据展示&＃xff0c;提供服务。这个过程的好处是开发成本低&＃xff0c;投入成本低&＃xff0c;技术架构简单&＃xff0c;可以非常快速的在公司内部运行起来。

但是这样的方式随着业务系统的增多&＃xff0c;逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大&＃xff1b;数据存储能力受限&＃xff0c;无法追溯较远的历史数据。二是很多情况下&＃xff0c;不同的产品经理和工程师所提的需求是不同的&＃xff0c;而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标&＃xff0c;由于数据指标定义不一致&＃xff0c;存在意义相近重复指标的时候&＃xff0c;管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控&＃xff0c;这会导致IT部门工作压力较大。

除了以上反映的问题&＃xff0c;公司在基于未来发展情况下又呈现了新一轮的现状&＃xff0c;并提出了以下需求&＃xff1a;

业务的多元化发展&＃xff0c;公司大量的并购导致集团数据量和数据需求爆发式增长&＃xff1b;
数据网状流通&＃xff0c;基础数据、数据指标缺少统一的元数据管理&＃xff1b;
为了更好发掘数据价值&＃xff0c;提升数据能力、构建标准化数据体系成为当务之急。

大数据平台业务架构

集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理&＃xff0c;数据模型的开发以及建立统一的数据标准。第二个是数据开发员&＃xff0c;它会对接产品&＃xff0c;然后去做一些业务开发。第三个是业务人员&＃xff0c;业务人员是运营、销售、市场人员&＃xff0c;在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门&＃xff0c;他们有很多对于审计包括公司一些非常核心的数据的分析需求&＃xff0c;他们会通过独立的数据查询系统实现数据多维度分析。

下图是技术架构&＃xff0c;在底层进行数据存储&＃xff0c;抓取数据&＃xff0c;并将存储层的数据传给处理层&＃xff0c;在处理层完成业务计算&＃xff0c;形成指标。然后前端通过帆软报表的应用&＃xff0c;将数据以业务报表的方式进行图形化展示&＃xff0c;并在移动报表APP上进行展示。

除去这个&＃xff0c;我们还在管理上做了数据中心的建设规范。然后是数据质量管理&＃xff0c;包括确保数据的准确性&＃xff0c;为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。

大数据可视化

数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面&＃xff0c;由于我们

1、需求来源多&＃xff1a;团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门&＃xff0c;且各个部门关注的指标千差万别。

2、报表可视化方式多&＃xff1a;需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求&＃xff0c;还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。

3、自定义开发多&＃xff1a;为了对接公司内部的业务系统&＃xff0c;需要经常自定义开发。

所以&＃xff0c;需要一个满足这些需求的可视化报表开发工具。这一块&＃xff0c;无论从最初的传统数据仓库方式还是现在的大数据平台&＃xff0c;我们都选择了帆软报表。

优势如下&＃xff1a;

类EXCEL设计风格&＃xff1a;操作界面大大降低了学习成本。
多数据源支持&＃xff1a;接入个各个部门的各个类型的数据库非常方便。
优秀的图标展示&＃xff1a;HTML5图表技术&＃xff0c;支持多种图表类型、样式、风格&＃xff0c;参数传递灵活&＃xff0c;交互效果丰富。
友好的接口&＃xff1a;开发人员使用网页脚本、API接口等进行深入的开发与控制&＃xff0c;支持插件开发、安装、使用和管理&＃xff0c;以满足其个性化的需求。

可视化展示

推荐阅读

api
每天收获一点点Hadoop概述

一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明 ... [详细]

蜡笔小新 2023-12-14 18:58:01
api
C#之数据集：DataSet对象的使用及相关方法详解

本文介绍了C#中数据集DataSet对象的使用及相关方法详解，包括DataSet对象的概述、与数据关系对象的互联、Rows集合和Columns集合的组成，以及DataSet对象常用的方法之一——Merge方法的使用。通过本文的阅读，读者可以了解到DataSet对象在C#中的重要性和使用方法。 ... [详细]

蜡笔小新 2023-12-14 12:09:13
http
Voicewo在线语音识别转换jQuery插件的特点和示例

本文介绍了一款名为Voicewo的在线语音识别转换jQuery插件，该插件具有快速、架构、风格、扩展和兼容等特点，适合在互联网应用中使用。同时还提供了一个快速示例供开发人员参考。 ... [详细]

蜡笔小新 2023-12-13 20:01:16
mysql
解决VS写C#项目导入MySQL数据源报错“You have a usable connection already”问题的正确方法

本文介绍了在VS写C#项目导入MySQL数据源时出现报错“You have a usable connection already”的问题，并给出了正确的解决方法。详细描述了问题的出现情况和报错信息，并提供了解决该问题的步骤和注意事项。 ... [详细]

蜡笔小新 2023-12-13 16:31:57
http
flowable工作流流程变量_信也科技工作流平台的技术实践

1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下：目前OA流程引擎无法满足企业特定业务流程需求，且移动端体 ... [详细]

蜡笔小新 2023-12-13 10:17:15
http
CentOS 7部署KVM虚拟化环境之一架构介绍

本文介绍了CentOS 7部署KVM虚拟化环境的架构，详细解释了虚拟化技术的概念和原理，包括全虚拟化和半虚拟化。同时介绍了虚拟机的概念和虚拟化软件的作用。 ... [详细]

蜡笔小新 2023-12-12 21:38:57
http
企业数据应用挑战及元数据管理的重要性

本文主要介绍了企业在日常经营管理过程中面临的数据应用挑战，包括数据找不到、数据读不懂、数据不可信等问题。针对这些挑战，通过元数据管理可以实现数据的可见、可懂、可用，帮助业务快速获取所需数据。文章提出了“灵魂”三问——元数据是什么、有什么用、又该怎么管，强调了元数据管理在企业数据治理中的基础和前提作用。 ... [详细]

蜡笔小新 2023-12-12 15:39:22
http
C#导入、导出功能

导出功能protectedvoidbtnExport(objectsender,EventArgse){用来打开下载窗口stringfileName中 ... [详细]

蜡笔小新 2023-12-12 14:34:29
mysql
Redis数据结构之string应用场景解析

本文介绍了Redis的基础数据结构string的应用场景，并以面试的形式进行问答讲解，帮助读者更好地理解和应用Redis。同时，描述了一位面试者的心理状态和面试官的行为。 ... [详细]

蜡笔小新 2023-12-14 14:02:42
mysql
Oracle Database 10g许可授予信息及高级功能详解

本文介绍了Oracle Database 10g许可授予信息及其中的高级功能，包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明，指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]

蜡笔小新 2023-12-14 13:12:10
mysql
求解hdu 1003 java题目的动态规划优化方法

本文讨论了如何优化解决hdu 1003 java题目的动态规划方法，通过分析加法规则和最大和的性质，提出了一种优化的思路。具体方法是，当从1加到n为负时，即sum(1,n)sum(n,s)，可以继续加法计算。同时，还考虑了两种特殊情况：都是负数的情况和有0的情况。最后，通过使用Scanner类来获取输入数据。 ... [详细]

蜡笔小新 2023-12-14 13:11:00
mysql
OC学习笔记之@property和@synthesize

本文介绍了OC学习笔记中的@property和@synthesize，包括属性的定义和合成的使用方法。通过示例代码详细讲解了@property和@synthesize的作用和用法。 ... [详细]

蜡笔小新 2023-12-14 12:05:06
mysql
如何用UE4制作2D游戏文档——计算篇

篇首语：本文由编程笔记#小编为大家整理，主要介绍了如何用UE4制作2D游戏文档——计算篇相关的知识，希望对你有一定的参考价值。 ... [详细]

蜡笔小新 2023-12-14 09:50:34
mysql
Hyperledger Fabric外部链码构建与运行的开发笔记

本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识，包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性，外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍，读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行，并且不再受限于特定的语言和部署环境。 ... [详细]

蜡笔小新 2023-12-13 21:47:39
mysql
使用在线工具jsonschema2pojo根据json生成java对象

本文介绍了使用在线工具jsonschema2pojo根据json生成java对象的方法。通过该工具，用户只需将json字符串复制到输入框中，即可自动将其转换成java对象。该工具还能解析列表式的json数据，并将嵌套在内层的对象也解析出来。本文以请求github的api为例，展示了使用该工具的步骤和效果。 ... [详细]

蜡笔小新 2023-12-13 21:23:45

灬我的独一小姐灬

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章