流数据的Web界面配置

作者&＃xff1a;doremi

流数据服务&＃xff08;Streming Service&＃xff09;基于Spark Streaming分布式实时计算框架&＃xff0c;因此在配置服务前&＃xff0c;需要开启Spark集群。您可以使用iServer内置的Spark来搭建集群&＃xff0c;也可以自行在其他的机器上搭建Spark集群服务&＃xff0c;参考https://blog.csdn.net/supermapsupport/article/details/91973584&＃xff0c;将Spark集群服务注册到iServer中&＃xff0c;并且开启分布式分析服务即可开启分布式分析环境&＃xff0c;参考https://blog.csdn.net/supermapsupport/article/details/90903095

流模型

在使用流数据服务时&＃xff0c;我们必须先了解流模型的结构。
流数据处理流程包含&＃xff1a;

依据上述处理流程&＃xff0c;流数据的处理模型包含四个部分&＃xff1a;Receiver&＃xff08;接收器&＃xff09;、Filter&＃xff08;过滤器&＃xff09;、Mapper&＃xff08;转换器&＃xff09;和Sender&＃xff08;发送器&＃xff09;。每个部分作为一个节点&＃xff0c;可以进行连接和合并&＃xff0c;构建成实时数据处理流 Stream。除了处理流 Stream 以外&＃xff0c;还有一些辅助参数作为整个服务的运行条件&＃xff0c;一并存储在启动参数类型 Startup 中。

发布流数据服务需要将配置好的流处理模型文件发布出来&＃xff0c;为了方便大家配置流处理模型&＃xff0c;我们提供了WEB端的可视化流处理模型编辑器

流处理模型编辑器

使用管理员用户登录iServer服务管理页面&＃xff0c;进入服务页面&＃xff0c;在默认打开的“概述”页面单机“配置流数据服务”&＃xff0c;打开流处理模型编辑器

如图所示&＃xff0c;左边为流处理模型的组件列表&＃xff0c;包含四部分&＃xff1a;接收器、发送器、转换器和过滤器&＃xff0c;每个部分作为一个节点&＃xff0c;可在右侧的节点编辑器中&＃xff0c;进行连接和合并&＃xff0c;同时编辑各节点的属性信息&＃xff0c;从而构建流处理模型。在编辑器中可直接发布构建好的流处理模型为流数据服务&＃xff0c;在页面上部可指定流数据服务的服务名&＃xff0c;“发布”按钮用于发布流数据服务。

接收器作为流数据处理的入口&＃xff0c;接收各种来源的数据&＃xff0c;需要设置接收信息的元数据&＃xff0c;消息的读取格式

转换器用于建立字段映射以及对字段进行管理&＃xff0c;主要包括字段映射、添加字段、删除字段、字段运算以及地理围栏

过滤器用于过滤当前数据&＃xff0c;进行数据的清洗与整理
具体详细的参数配置信息介绍可以参考帮助文档&＃xff08;http://support.supermap.com.cn/DataWarehouse/WebDocHelp/iServer/index.htm&＃xff09;“使用iServer”-“使用流数据服务”-“配置流数据服务”-“流处理模型配置参数说明”

构建流处理模型

添加节点&＃xff0c;将左侧的组件拖拽至右侧编辑区域&＃xff0c;添加后如下图

编辑属性&＃xff0c;单机节点进行属性编辑&＃xff0c;填入实际情况的数据属性或者计算表达式&＃xff0c;编辑完成选择保存

连接节点&＃xff0c;拖拽方框的右侧绿色部分&＃xff0c;将拖拽出的箭头指向下一个节点。发送器作为最终节点用于输出处理结果&＃xff0c;因此无下一节点

删除节点和连接&＃xff0c;鼠标悬浮于几点上&＃xff0c;单机右上角的x即可删除此节点&＃xff0c;单机节点连接箭头可删除该连接

流处理模型编辑器的大致介绍就到这了&＃xff0c;后续我们会对各个类型的接收器进行详细的配置介绍和实际运用