当前位置: 开发笔记 > 后端 > 正文

大数据从雏形到发展,详述传统数据仓库到大数据平台的转化及大数据的可视化应用

作者：灬我的独一小姐灬 | 来源：互联网 | 2023-07-10 14:28

问题导读：1.为什么要建设大数据平台？2.大数据平台的业务架构有哪几块？3.数据可视化的原因是什么？4.数据可视化的意义在于

问题导读&＃xff1a;

1.  为什么要建设大数据平台&＃xff1f;
2.  大数据平台的业务架构有哪几块&＃xff1f;
3.  数据可视化的原因是什么&＃xff1f;
4.  数据可视化的意义在于什么&＃xff1f;

本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展&＃xff0c;以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。

大数据显雏形——发展

所有公司在一开始时&＃xff0c;数据的建设都是比较落后的&＃xff0c;但随着互联网的环境推动&＃xff0c;以及公司计划2013年在纽约交易所上市&＃xff0c;这时候面临一个很大的问题。在上市之前&＃xff0c;公司的数据&＃xff0c;无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此&＃xff0c;我们开始整理数据&＃xff0c;做数据报表&＃xff0c;花费一年多的时间做数据整理、数据规范&＃xff0c;慢慢的大数据的平台有了雏形。

后来公司上市之后&＃xff0c;数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。

2015年到2016年这两年&＃xff0c;公司将目标投入到数据智能上&＃xff0c;建立了一个非常大的系统平台&＃xff0c;并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上&＃xff0c;我们不仅仅要进行管理销售&＃xff0c;还要构建销售能力模型&＃xff0c;预测未来业绩。因为在美国市场的股价&＃xff0c;更多的是依赖公司未来的发展&＃xff0c;公司未来预期决定了公司现在的股价&＃xff0c;因此总共的业绩预测非常重要&＃xff0c;能够非常精确的预测销售更加重要。

大数据平台建设

公司拥有很多的业务数据库&＃xff0c;有订单、CRM、合同管理、人力资源等数据库。以往&＃xff0c;我们会把这些数据库里的数据做集成&＃xff0c;做一个简单的数据仓库&＃xff0c;然后根据业务需求&＃xff0c;在数据集成的基础上&＃xff0c;通过帆软报表建立一个决策系统&＃xff0c;做数据展示&＃xff0c;提供服务。这个过程的好处是开发成本低&＃xff0c;投入成本低&＃xff0c;技术架构简单&＃xff0c;可以非常快速的在公司内部运行起来。

但是这样的方式随着业务系统的增多&＃xff0c;逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大&＃xff1b;数据存储能力受限&＃xff0c;无法追溯较远的历史数据。二是很多情况下&＃xff0c;不同的产品经理和工程师所提的需求是不同的&＃xff0c;而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标&＃xff0c;由于数据指标定义不一致&＃xff0c;存在意义相近重复指标的时候&＃xff0c;管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控&＃xff0c;这会导致IT部门工作压力较大。

除了以上反映的问题&＃xff0c;公司在基于未来发展情况下又呈现了新一轮的现状&＃xff0c;并提出了以下需求&＃xff1a;

业务的多元化发展&＃xff0c;公司大量的并购导致集团数据量和数据需求爆发式增长&＃xff1b;
数据网状流通&＃xff0c;基础数据、数据指标缺少统一的元数据管理&＃xff1b;
为了更好发掘数据价值&＃xff0c;提升数据能力、构建标准化数据体系成为当务之急。

大数据平台业务架构

集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理&＃xff0c;数据模型的开发以及建立统一的数据标准。第二个是数据开发员&＃xff0c;它会对接产品&＃xff0c;然后去做一些业务开发。第三个是业务人员&＃xff0c;业务人员是运营、销售、市场人员&＃xff0c;在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门&＃xff0c;他们有很多对于审计包括公司一些非常核心的数据的分析需求&＃xff0c;他们会通过独立的数据查询系统实现数据多维度分析。

下图是技术架构&＃xff0c;在底层进行数据存储&＃xff0c;抓取数据&＃xff0c;并将存储层的数据传给处理层&＃xff0c;在处理层完成业务计算&＃xff0c;形成指标。然后前端通过帆软报表的应用&＃xff0c;将数据以业务报表的方式进行图形化展示&＃xff0c;并在移动报表APP上进行展示。

除去这个&＃xff0c;我们还在管理上做了数据中心的建设规范。然后是数据质量管理&＃xff0c;包括确保数据的准确性&＃xff0c;为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。

大数据可视化

数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面&＃xff0c;由于我们

1、需求来源多&＃xff1a;团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门&＃xff0c;且各个部门关注的指标千差万别。

2、报表可视化方式多&＃xff1a;需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求&＃xff0c;还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。

3、自定义开发多&＃xff1a;为了对接公司内部的业务系统&＃xff0c;需要经常自定义开发。

所以&＃xff0c;需要一个满足这些需求的可视化报表开发工具。这一块&＃xff0c;无论从最初的传统数据仓库方式还是现在的大数据平台&＃xff0c;我们都选择了帆软报表。

优势如下&＃xff1a;

类EXCEL设计风格&＃xff1a;操作界面大大降低了学习成本。
多数据源支持&＃xff1a;接入个各个部门的各个类型的数据库非常方便。
优秀的图标展示&＃xff1a;HTML5图表技术&＃xff0c;支持多种图表类型、样式、风格&＃xff0c;参数传递灵活&＃xff0c;交互效果丰富。
友好的接口&＃xff1a;开发人员使用网页脚本、API接口等进行深入的开发与控制&＃xff0c;支持插件开发、安装、使用和管理&＃xff0c;以满足其个性化的需求。

可视化展示

推荐阅读

pip
Python库在GIS与三维可视化中的应用

Python库极大地扩展了GIS的能力，使其能够执行复杂的数据科学任务。本文探讨了几个关键的Python库，这些库不仅增强了GIS的核心功能，还推动了地理信息系统向更高层次的应用发展。 ... [详细]

蜡笔小新 2024-12-13 17:24:24
static
深入理解Lucene搜索机制

本文旨在帮助读者全面掌握Lucene搜索的编写步骤、核心API及其应用。通过详细解析Lucene的基本查询和查询解析器的使用方法，结合架构图和代码示例，带领读者深入了解Lucene搜索的工作流程。 ... [详细]

蜡笔小新 2024-12-23 11:06:10
iis
阿里云ecs怎么配置php环境,阿里云ecs配置选择

阿里云ecs怎么配置php环境,阿里云ecs配置选择 ... [详细]

蜡笔小新 2024-12-23 11:12:07
iis
优化App数据结构设计

本文探讨了在构建应用程序时，如何对不同类型的数据进行结构化设计。主要分为三类：全局配置、用户个人设置和用户关系链。每种类型的数据都有其独特的用途和应用场景，合理规划这些数据结构有助于提升用户体验和系统的可维护性。 ... [详细]

蜡笔小新 2024-12-22 09:42:30
http
Java SpringMVC SSM 实现多模块集成：操作日志、文件管理、头像编辑、权限控制及缓存优化

本文介绍了一个基于 Java SpringMVC 和 SSM 框架的综合系统，涵盖了操作日志记录、文件管理、头像编辑、权限控制、以及多种技术集成如 Shiro、Redis 等，旨在提供一个高效且功能丰富的开发平台。 ... [详细]

蜡笔小新 2024-12-20 19:17:47
分布式
创邻科技成功举办Graph+X生态合作伙伴大会，30余家行业领军企业共聚杭州

9月22日，创邻科技在杭州举办“Graph+X”生态合作伙伴大会，汇聚了超过30家行业头部企业的50多位企业家和技术领袖，共同探讨图技术的前沿应用与发展前景。 ... [详细]

蜡笔小新 2024-12-20 16:56:32
cache
深入解析Spring Cloud微服务架构与分布式系统实战

本文详细介绍了Spring Cloud在微服务架构和分布式系统中的应用，结合实际案例和最新技术，帮助读者全面掌握微服务的实现与优化。 ... [详细]

蜡笔小新 2024-12-19 16:02:50
cache
Apache IoTDB：开源工业物联网数据库的崛起

2020年9月23日，全球领先的开源软件基金会——Apache软件基金会宣布，Apache IoTDB正式成为其顶级项目。Apache IoTDB是一款专为大规模物联网和工业物联网设计的开源数据库。 ... [详细]

蜡笔小新 2024-12-14 14:52:08
分布式
阿里Java面试全解析：从技术面到HR面的详细攻略

本文作者分享了在阿里巴巴获得实习offer的经历，包括五轮面试的详细内容和经验总结。其中四轮为技术面试，一轮为HR面试，涵盖了大量的Java技术和项目实践经验。 ... [详细]

蜡笔小新 2024-12-23 11:32:02
分布式
STM32Cube定时器延时不准的潜在原因及解决方案

在使用STM32Cube进行定时器配置时，有时会遇到延时不准的问题。本文探讨了可能导致延时不准确的原因，并提供了解决方法和预防措施。 ... [详细]

蜡笔小新 2024-12-23 11:17:06
分布式
Netflix利用Druid实现高效实时数据分析

本文探讨了全球领先的在线娱乐公司Netflix如何通过采用Apache Druid，实现了高效的数据采集、处理和实时分析，从而显著提升了用户体验和业务决策的准确性。文章详细介绍了Netflix在系统架构、数据摄取、管理和查询方面的实践，并展示了Druid在大规模数据处理中的卓越性能。 ... [详细]

蜡笔小新 2024-12-23 11:10:01
ci
使用 Spring Boot 和 Groovy 实现灵活的动态计算引擎

本文介绍了如何利用 Spring Boot 和 Groovy 构建一个灵活且可扩展的动态计算引擎，以满足钱包应用中类似余额宝功能的推广需求。我们将探讨不同的设计方案，并最终选择最适合的技术栈来实现这一目标。 ... [详细]

蜡笔小新 2024-12-23 09:44:54
nodejs
Node.js 进程异常时自动发送邮件通知

在项目部署后，Node.js 进程可能会遇到不可预见的错误并崩溃。为了及时通知开发人员进行问题排查，我们可以利用 nodemailer 插件来发送邮件提醒。本文将详细介绍如何配置和使用 nodemailer 实现这一功能。 ... [详细]

蜡笔小新 2024-12-23 08:56:34
ci
理解UML的重要性及其应用

探讨为什么大多数开发人员难以成为架构师，介绍从现实世界到业务模型的抽象过程，并详细解释UML在软件设计中的关键作用。 ... [详细]

蜡笔小新 2024-12-22 10:23:24
ci
python时间序列之ADF检验(1)

读取数据，pd.read_csv默认生成DataFrame对象，需将其转换成Series对象DataFrame和Series是pandas中最常见的2 ... [详细]

蜡笔小新 2024-12-19 18:56:32

灬我的独一小姐灬

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章