作者：1195596249_711e8e | 来源：互联网 | 2023-08-29 12:54
之前数据分层处理，最后把轻度聚合的结果保存到ClickHouse中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的
之前数据分层处理，最后把轻度聚合的结果保存到 ClickHouse 中，主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现，一种是为专业的数据分析人员的 BI 工具，一种是面向非专业人员的更加直观的数据大屏。
以下主要是面向百度的 sugar 的数据大屏服务的接口开发。
在可视化大屏中每个组件都需要一个单独的接口，图中一共涉及 8 个组件。
组件名称 |
组件 |
查询指标 |
对应的数据表 |
|---|
总成交金额 |
数字翻牌 |
订单总金额 |
product_stats |
省市热力图查询 |
热力图 |
省市分组订单金额 |
province_stats |
分时流量 |
折线图 |
UV 分时数
PV 分时数
新用户分时数 |
visitor_stats |
品牌 TopN |
水平柱状图 |
按品牌分组订单金额 |
product_stats |
品类分布 |
饼状图 |
按品类分组订单金额 |
product_stats |
热词字符云 |
字符云 |
关键词分组计数 |
keyword_stats |
流量表格 |
交叉透视表 |
UV 数(新老用户)
PV 数(新老用户)
跳出率(新老用户)
平均访问时长 (新老用户)
平均访问页面数(新老用户) |
visitor_stats |
热门商品 |
轮播表格 |
按 SPU 分组订单金额 |
product_stats |
之前我们实现了 DWS 层计算后写入到 ClickHouse 中，接下来就是要为可视化大屏服务，提供一个数据接口用来查询 ClickHouse 中的数据。这里主要有两项工作
- 配置可视化大屏服务。
- 编写数据查询接口以供可视化大屏进行访问。
Sugar 数据大屏
Sugar 是百度云推出的敏捷 BI 和数据可视化平台，目标是解决报表和大屏的数据 BI 分析和可视化问题，解放数据可视化系统的开发人力
https://cloud.baidu.com/product/sugar.html
国内网穿透工具
花生壳：https://hsk.oray.com
Ngrok: http://www.ngrok.cc
网云穿：http://www.neiwangchuantou.net/
https://www.bilibili.com/video/BV1Ju411o7f8/?p=73
尚硅谷 源代码
大数据 - 数据仓库-实时数仓架构分析
大数据 - 业务数据采集-FlinkCDC
大数据 - DWD&DIM 行为数据
大数据 - DWD&DIM 业务数据
大数据 - DWM层 业务实现
大数据 - DWS层 业务实现
大数据 - ADS 数据可视化实现
京公网安备 11010802041100号