作者：常叽叽_655 | 来源：互联网 | 2023-09-04 12:00
Dinky 0.6.2 已发布&＃xff0c;优化 Flink 应用体验 前言 Apache Flink 作为新一代的实时计算框架已经被应用到各个行业与领域&＃xff0c;虽说应用程度不同&＃xff0c;但都会遇到一些使用上的痛点&＃xff0c;基础的应用痛点比如 FlinkSQL 作业提交不友好、作业无监控报警等。很大程度上说&＃xff0c;FlinkSQL 大大加快了 Flink 的应用推广&＃xff0c;而本文将简述开源项目 Dinky 如何改善 Flink 的痛点来优化 FlinkSQL 应用体验。
简介 实时即未来&＃xff0c;Dlink 为 Apache Flink 而生&＃xff0c;让 Flink SQL 纵享丝滑&＃xff0c;并致力于实时计算平台建设。
Dinky 基于 Apache Flink 实现 Dlink &＃xff0c;增强 Flink 的应用与体验&＃xff0c;探索流式数仓。即站在巨人肩膀上创新与实践&＃xff0c;Dinky 在未来批流一体的发展趋势下潜力无限。
最后&＃xff0c;Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
特点 一个 开箱即用 、易扩展 的 一站式 实时计算平台&＃xff0c;以 Apache Flink 为基础&＃xff0c;连接 OLAP 和 数据湖 等众多框架&＃xff0c;致力于 流批一体 和 湖仓一体 的建设与实践。
其主要目标如下&＃xff1a;
可视化交互式 FlinkSQL 和 SQL 的数据开发平台&＃xff1a;自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等 支持全面的多版本的 FlinkSQL 作业提交方式&＃xff1a;Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application 支持 Apache Flink 所有的 Connector、UDF、CDC等 支持 FlinkSQL 语法增强&＃xff1a;兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等 支持易扩展的 SQL 作业提交方式&＃xff1a;ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等 支持实时调试预览 Table 和 ChangeLog 数据及图形展示 支持语法逻辑检查、作业执行计划、字段级血缘分析等 支持 Flink 元数据、数据源元数据查询及管理 支持实时任务运维&＃xff1a;作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi 支持易扩展的实时作业报警及报警组&＃xff1a;钉钉、微信企业号等 支持完全托管的 SavePoint 启动机制&＃xff1a;最近一次、最早一次、指定一次等 支持多种资源管理&＃xff1a;集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等 更多隐藏功能等待小伙伴们探索 原理
精彩瞬间 FlinkSQL Studio
实时调试预览
语法和逻辑检查
JobPlan
字段级血缘分析
BI 展示
元数据查询
实时任务监控
实时作业信息
数据地图
数据源注册
优化 Flink 体验 沉浸式的 FlinkSQL IDE Apache Flink 提供了 sql-client&＃xff0c;但 sql-client 仅作为一个 beta 的功能&＃xff0c;难以被应用到生产中。
Dinky 提供了沉浸式的 FlinkSQL IDE 开发能力&＃xff0c;提供了自动提示与补全、语法高亮、语句美化、语法校验和逻辑检查、调试预览结果、字段级血缘分析等专业的功能&＃xff0c;使 FlinkSQL 的开发如同 SQL 开发一样舒适与简单。
极易用的任务构建方式 Flink 在构建 FlinkSQL Jar 任务时通常需要考虑依赖及版本的维护、代码的编写、繁琐的编译打包过程等。
Dinky 将 FlinkSQL 任务的构建进行了极简&＃xff0c;开发人员只需要专注 FlinkSQL 的口径书写&＃xff0c;并且可以实时进行检查与调试&＃xff0c;在任务提交的过程则是快速的自动化托管&＃xff0c;以实现一个 FlinkSQL 语句可以在所有的执行模式与外部集群上随意切换。
对于 Dinky 来说&＃xff0c;主要划分两类用户。一类是平台运维人员&＃xff0c;该人员需要根据官网文档及自身的 Flink 知识储备来手动搭建稳定的 Dinky 运作环境&＃xff0c;门槛较高&＃xff1b;另一类是数据开发任务&＃xff0c;即 SQL Boy&＃xff0c;boys 只需熟悉 FlinkSQL 的语法与常见的应用场景&＃xff0c;即可快速高效地进行 FlinkSQL 的开发与运维&＃xff0c;达到易用的任务构建方式。这也是最符合企业生产团队的分工策略&＃xff0c;平台和开发分离。
无侵入的部署模式 一些开源项目或自建平台通常需要绑死 Flink 集群或者侵入 Flink 的源码&＃xff0c;容易 Flink 功能受限或在搭建和后续扩展时出现问题。
Dinky 则是完全无侵入&＃xff0c;可部署与各个集群之外&＃xff0c;同时连接和监控多个集群。轻易地对接各个版本的 Flink 集群与公司内仓库分支优化过的 Flink 集群&＃xff0c;完全兼容 Flink 自身的 connector、udf、cdc 等。
增强式的功能体验 一些开源项目及自建平台一般只专注于 Flink 任务的提交与运维。
Dinky 则不同&＃xff0c;为更舒适地使用 Flink 的相关功能进行的功能增强&＃xff0c;如表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等&＃xff0c;并且还在不断地扩展新的功能增强&＃xff0c;以使 Flink 更贴近企业的需求。
实时的监控报警 Dinky 提供实时的监控报警能力&＃xff0c;实时守护已上线的流或批任务&＃xff0c;在任务触发异常停止和成功完成时都会实时报警通知&＃xff0c;并且记录了外部集群实时的任务信息&＃xff0c;摆脱 History Server 的限制&＃xff0c;弥补 deploy 的集群作业失败后信息难查询的不足&＃xff0c;用户随时随地都可追溯历史作业的执行信息与异常。
一站式的开发运维 Dinky 提供了一站式的开发运维能力&＃xff0c;从 FlinkSQL 开发调试到作业上线下线的运维监控&＃xff0c;再到数据源的 OLAP 及普通查询能力等&＃xff0c;使得数仓建设或数据治理过程中所有的工作均可以在 Dinky 上完成。
易扩展的代码实现 Dinky 非常注重代码的扩展能力&＃xff0c;在源码中大量使用了 SPI 机制来支持用户低成本地自定义扩展新功能&＃xff0c;比如数据源、报警方式、自定义语法等扩展。
Dinky 的功能体验也十分注重扩展能力&＃xff0c;在功能设计上尽可能地开放了最大的配置能力&＃xff0c;如自定义提示与补全语法、自定义数据源的Flink 配置与生成规则、自定义全局变量、自定义Flink执行环境、自定义集群配置的各种配置项等等。
Dinky 的外部对接也很注重扩展能力&＃xff0c;基于 SpringBoot 的代码的高内聚和低耦合以及提供多种规范的 OpenAPI 使其可以很方便地扩展第三方生态、微服务或者平台&＃xff0c;例如海豚调度等。
小而美的产品形态 常规的大数据平台或者开源项目一般是十分庞大的&＃xff0c;维护成本较高。
正如 Dinky 本名所释&＃xff0c;小巧而精美&＃xff0c;一直是开源项目建设的首要目标。小巧具体指易搭建、不绑定任何外部中间件或文件系统、代码简洁易维护&＃xff1b;精美则指沉浸式的页面、经过打磨的各种功能等。
近期计划 多租户及命名空间 Dinky 目前需要一个多租户的能力来分离业务数据及资源队列&＃xff0c;需要命名空间来增强和规范代码业务逻辑的实现与扩展。
全局血缘与影响分析 Dinky 目前需要将所有的字段级血缘进行存储&＃xff0c;以构建全局的血缘和影响分析&＃xff0c;方便用户更容易地追溯数据问题。
统一元数据管理 Dinky 目前需要统一的元数据中心来管理外部数据源元数据&＃xff0c;使其可以自动同步数据库物理模型与平台逻辑模型之间的结构&＃xff0c;增强平台一站式的开发能力。
Flink 元数据持久化 Dinky 目前需要持久化 Flink Catalog&＃xff0c;使作业开发时不再需要编写 CREATE TABLE 等语句&＃xff0c;转变为可视化的元数据管理功能。
多版本 Flink-Client Server Dinky 目前的 Flink 多版本支持需要启动多个不同版本的实例来支持。未来需要实现客户端与服务端分离&＃xff0c;单独实现多版本的 Server。
整库千表同步 数据库的整库同步是一个常见的场景&＃xff0c;Dinky 未来将提供一个简短的 FlinkSQL 实现整库同步任务构建的能力。
感谢 站在巨人的肩膀上&＃xff0c;Dinky 才得以诞生。对此我们对使用的所有开源软件及其社区表示衷心的感谢&＃xff01;我们也希望自己不仅是开源的受益者&＃xff0c;也能成为开源的贡献者&＃xff0c;也希望对开源有同样热情和信念的伙伴加入进来&＃xff0c;一起为开源献出一份力&＃xff01;致谢列表如下&＃xff1a;
Apache Flink
Apache Dolphinscheduler
Ant-Design-Pro
Mybatis Plus
Monaco Editor
SpringBoot
用户评语 用户一 随着大数据实时领域的快速发展且逐渐向 SQL 化转移 &＃xff0c;作为新一代的 FlinkSQL Studio Dinky 应运而生 &＃xff0c;Dinky 作为一款 FlinkSQL 的交互式开发平台&＃xff0c; 真正解决了目前 FinkSQL 的痛点 &＃xff0c;降低了开发运维的门槛&＃xff0c;从 Dinky-0.1 到目前的 Dinky-0.6&＃xff0c;我也见证了 Dinky 的成长 &＃xff0c;并基于 0.6 版本扩展了 Hive 元数据管理功能&＃xff0c;这里还是要得力于 Dinky 的作者对整体平台的架构的设计&＃xff0c;轻松上手即可扩展相关功能&＃xff0c;经过不断地迭代更新&＃xff0c; Dinky 也已逐渐完善企业级应用场景 : 包括 <元数据管理> &＃xff0c; <表/字段级血缘关系>&＃xff0c; <运维中心> &＃xff0c;<告警中心> 等等 &＃xff0c; 以上特性/功能为我们建设企业级实时平台节省了很大成本&＃xff0c;且真正具备企业级能力特点的实时开发平台。
用户二 Dinky 作为基于 flink 二次开发的一款交互式开发平台&＃xff0c;提供 web 方式的 FlinkSQL 开发编辑器、自动补全&＃xff0c;任务启停、数据地图、运行日志信息查看、支持 yarn 和 k8s 集群部署等功能。部署方面实现轻量化&＃xff0c;开箱即用&＃xff0c;降低与原始数据集群耦合度&＃xff0c;便于适配原有数据集群版本&＃xff1b;开发方面&＃xff0c;降低开发人员使用 flink 难度及运维复杂度。
个人曾想过开发类似 Dinky 这样小而精的数据平台&＃xff0c;限于现实场景、技术理解深度&＃xff0c;没能实现。Dinky 开源后&＃xff0c;从部署到阅读源码进行探索&＃xff0c;从中学习不少轻量、容易扩展实现方案的优秀思想&＃xff0c;未来将尽个人能力为社区做一些力所能及的事。最后&＃xff0c;感谢 Dinky 贡献者&＃xff0c;秉承自由开源&＃xff0c;共建共赢理念&＃xff0c;将源码开源&＃xff0c;让更多开发人员学习使用&＃xff0c;在实际场景中产生价值。
用户三 接触 flink 以来&＃xff0c;一直诟病自身带的 web 平台&＃xff0c;一点不好用&＃xff01;偶然看到 dinky&＃xff0c;试用了下&＃xff0c;真的挺好用&＃xff01;
dinky 作为一款 flink 的交互式开发平台&＃xff0c;可以帮助开发者更好&＃xff0c;更快的开发出自己的 flink 作业&＃xff0c;解决了用户的痛点。随着作者从 0.1 到 0.6 不断的完善
和升级&＃xff0c;支持的功能也越来越多&＃xff0c;例如: sql 语法高亮、自动补全、sql 逻辑校验、血缘分析、任务启停、元数据查看、状态监控、flink on k8s 支持等等&＃xff0c;这些功能大大的提高了开发者的效率。其中支持 flink on k8s&＃xff0c;更是我接触后发现的一大亮点。目前平台已被我司作为生产使用。
最后&＃xff0c;感谢 Dinky 开发者和建设者&＃xff0c;祝福 dinky 社区发展越来越好&＃xff0c;致敬&＃xff01;
更多用户 整合了FlinkSQL API的开发。
功能很强大&＃xff0c;尤其 SQL 提交到远程功能&＃xff0c;缩短了开发jar的时间。
操作简单&＃xff0c;运维方便&＃xff0c;可以脱离 flinkwebui 实时管控JOB的运行情况、异常及时报警。
功能规划清晰&＃xff0c;快速迭代。
灵活部署&＃xff0c;与原有集群解耦合。
各种功能比较丰富&＃xff0c;界面设计接近阿里实时计算平台。
页面设计简洁、代码架构合理、兼容性强。
页面提交sql&＃xff0c;方便的集成各种flink集群和数据库。
简化实时开发步骤&＃xff0c;提高实时开发效率。
易用功能全面&＃xff0c;问题反馈及解决及时。
开箱即用&＃xff0c;支持多数据源&＃xff0c;有一站式开发的核心能力。
…
京公网安备 11010802041100号