热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

实时计算既有Flink,为何又推出个StreamPark?

StreamPark2.0.0版本于2023年2月21日正式发布,有流处理需求的开发者可以通过StreamPark官网以及GitHub去下载apache配置

StreamPark 2.0.0 版本于2023年2月21日正式发布,有流处理需求的开发者可以通过StreamPark官网以及GitHub去下载apache配置。StreamPark这次更新的亮点是,前端构建和启动速度同历史版本比提升了 5~10 倍,并且对 Apache Flink 做了更好的支持,支持最新的 Flink 1.16版,同时Flink 作业 on Kubernetes 达到生产可用级别。

实时计算既有Flink,为何又推出个StreamPark?

在了解StreamPark 2.0.0 版本具体更新了哪些内容前apache配置,我们先来脑补下定义,到底是什么StreamPark ?Flink本身就是一个开源流处理框架,为何StreamPark会成为Apache重点孵化的项目?二者到底是什么关系?

让流处理更简单

从官方定义看,StreamPark 是一个流处理应用开发管理框架apache配置。基于StreamPark,开发者可以轻松构建和管理流处理应用程序,更好地使用Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架,同时可支持更多其他引擎。StreamPark最早叫做StreamX,于2021年4月正式开源;2022年2月24日,StreamPark发布1.2.2首个稳定版;2022年8月更名为StreamPark。

大体来看,StreamPark是一个位居Flink 之上的开发管理平台,有了StreamPark,用户可以无障碍地拥抱Flink ,更快地构建实时数仓和流式数仓,相当于是一个流处理应用的服务总线apache配置

当然,StreamPark的核心能力可能会更多,包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等,比如:除了标准配置和开发流程,还有Flink SQL开发工作台、一站式流任务开发管理平台的内嵌,多版本流引擎的支持,多集群环境的支持等等apache配置

有效解决Flink on Kubernetes太重的问题

StreamPark之所以成为开源社区关注的重点项目,除了细节上更新,比如:提供了Docker 方式一键部署启动 StreamPark ,支持了通过 copy 已有的作业来快速创建一个新的作业,更大程度地提升了 StreamPark 的易用性……还有一个关键性的用户体验,那就是Flink on Kubernetes实现生产级别的构建apache配置

当企业决定使用Flink做数据引擎时,通常会使用Flink on Kubernetes模式做实时任务流管理apache配置。但Flink没有解决一个问题,那就是每提交一个任务,需要打包新的镜像提交到私有仓库,然后再调用Flink Run指令拉通Kubernetes,最终获取镜像运行Pod,任务提交后还要去Kubernetes查log,镜像流程太长。如果单纯地使用命令去提交每个任务,任务量太大,增加了开发的压力。如何解决Flink原生镜像需要二次构建的问题?StreamPark可以让Flink的构建、测试和部署变得更自动化!

在StreamPark 2.0.0 版本中,修复了诸多Bug,可支持查看 Kubernetes 部署模式下的实时日志,重构了作业运行状态这部分的实现apache配置。目前,在作业部署提交、运行状态等各个方面已做了大量的测试,整体稳定性和可用性也经过企业大量作业的验证,能达到生产可用级别。

值得一提的是,StreamPark为了提升易用性,在新版本中从强依赖MySQL扩展了新的数据库类型,包括H2和PostgreSQLapache配置。其中,系统默认使用H2,对于想要快速体验的用户来说,直接下载安装包、执行启动脚本启动服务即可,无需其他额外配置和操作就可以体验 StreamPark 带来的方便与快捷,并且有效降低了使用成本。


推荐阅读
  • 对象存储与块存储、文件存储等对比
    看到一篇文档,讲对象存储,好奇,搜索文章,摘抄,学习记录!背景:传统存储在面对海量非结构化数据时,在存储、分享与容灾上面临很大的挑战,主要表现在以下几个方面:传统存储并非为非结 ... [详细]
  • 本打算教一步步实现koa-router,因为要解释的太多了,所以先简化成mini版本,从实现部分功能到阅读源码,希望能让你好理解一些。希望你之前有读过koa源码,没有的话,给你链接 ... [详细]
  • 本文探讨了Python类型注解使用率低下的原因,主要归结于历史背景和投资回报率(ROI)的考量。文章不仅分析了类型注解的实际效用,还回顾了Python类型注解的发展历程。 ... [详细]
  • 本文详细介绍了 Java 中 org.apache.jena.atlas.lib.ByteBufferLib 类下的 acopyArray 方法,并提供了多个实际应用中的代码示例,帮助开发者更好地理解和使用该方法。 ... [详细]
  • 从理想主义者的内心深处萌发的技术信仰,推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]
  • 精选10款Python框架助力并行与分布式机器学习
    随着神经网络模型的不断深化和复杂化,训练这些模型变得愈发具有挑战性,不仅需要处理大量的权重,还必须克服内存限制等问题。本文将介绍10款优秀的Python框架,帮助开发者高效地实现分布式和并行化的深度学习模型训练。 ... [详细]
  • 实践指南:使用Express、Create React App与MongoDB搭建React开发环境
    本文详细介绍了如何利用Express、Create React App和MongoDB构建一个高效的React应用开发环境,旨在为开发者提供一套完整的解决方案,包括环境搭建、数据模拟及前后端交互。 ... [详细]
  • 本文旨在探讨设计模式在Visual FoxPro (VFP) 中的应用可能性。虽然VFP作为一种支持面向对象编程(xbase语言)的工具,其OO特性相对简明,缺乏高级语言如Java、C++等提供的复杂特性,但设计模式作为一种通用的解决方案框架,是否能有效应用于VFP,值得深入研究。 ... [详细]
  • 在Java开发中,保护代码安全是一个重要的课题。由于Java字节码容易被反编译,因此使用代码混淆工具如ProGuard变得尤为重要。本文将详细介绍如何使用ProGuard进行代码混淆,以及其基本原理和常见问题。 ... [详细]
  • 本文详细介绍了如何使用Heartbeat构建一个高可用性的Apache集群,包括安装、配置和测试步骤。 ... [详细]
  • 深入解析Dubbo:使用与源码分析
    本文详细介绍了Dubbo的使用方法和源码分析,涵盖其架构设计、核心特性和调用流程。 ... [详细]
  • 文章目录python包-requests关于requests包安装和使用pythonrequests请求超时设置工作中遇到的常见问题整理访问https网站,报错cer ... [详细]
  • H5技术实现经典游戏《贪吃蛇》
    本文将分享一个使用HTML5技术实现的经典小游戏——《贪吃蛇》。通过H5技术,我们将探讨如何构建这款游戏的两种主要玩法:积分闯关和无尽模式。 ... [详细]
  • Docker安全策略与管理
    本文探讨了Docker的安全挑战、核心安全特性及其管理策略,旨在帮助读者深入理解Docker安全机制,并提供实用的安全管理建议。 ... [详细]
  • 软件测试行业深度解析:迈向高薪的必经之路
    本文深入探讨了软件测试行业的发展现状及未来趋势,旨在帮助有志于在该领域取得高薪的技术人员明确职业方向和发展路径。 ... [详细]
author-avatar
阿离说你是宝贝
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有