热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

实时计算既有Flink,为何又推出个StreamPark?

StreamPark2.0.0版本于2023年2月21日正式发布,有流处理需求的开发者可以通过StreamPark官网以及GitHub去下载apache配置

StreamPark 2.0.0 版本于2023年2月21日正式发布,有流处理需求的开发者可以通过StreamPark官网以及GitHub去下载apache配置。StreamPark这次更新的亮点是,前端构建和启动速度同历史版本比提升了 5~10 倍,并且对 Apache Flink 做了更好的支持,支持最新的 Flink 1.16版,同时Flink 作业 on Kubernetes 达到生产可用级别。

实时计算既有Flink,为何又推出个StreamPark?

在了解StreamPark 2.0.0 版本具体更新了哪些内容前apache配置,我们先来脑补下定义,到底是什么StreamPark ?Flink本身就是一个开源流处理框架,为何StreamPark会成为Apache重点孵化的项目?二者到底是什么关系?

让流处理更简单

从官方定义看,StreamPark 是一个流处理应用开发管理框架apache配置。基于StreamPark,开发者可以轻松构建和管理流处理应用程序,更好地使用Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架,同时可支持更多其他引擎。StreamPark最早叫做StreamX,于2021年4月正式开源;2022年2月24日,StreamPark发布1.2.2首个稳定版;2022年8月更名为StreamPark。

大体来看,StreamPark是一个位居Flink 之上的开发管理平台,有了StreamPark,用户可以无障碍地拥抱Flink ,更快地构建实时数仓和流式数仓,相当于是一个流处理应用的服务总线apache配置

当然,StreamPark的核心能力可能会更多,包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等,比如:除了标准配置和开发流程,还有Flink SQL开发工作台、一站式流任务开发管理平台的内嵌,多版本流引擎的支持,多集群环境的支持等等apache配置

有效解决Flink on Kubernetes太重的问题

StreamPark之所以成为开源社区关注的重点项目,除了细节上更新,比如:提供了Docker 方式一键部署启动 StreamPark ,支持了通过 copy 已有的作业来快速创建一个新的作业,更大程度地提升了 StreamPark 的易用性……还有一个关键性的用户体验,那就是Flink on Kubernetes实现生产级别的构建apache配置

当企业决定使用Flink做数据引擎时,通常会使用Flink on Kubernetes模式做实时任务流管理apache配置。但Flink没有解决一个问题,那就是每提交一个任务,需要打包新的镜像提交到私有仓库,然后再调用Flink Run指令拉通Kubernetes,最终获取镜像运行Pod,任务提交后还要去Kubernetes查log,镜像流程太长。如果单纯地使用命令去提交每个任务,任务量太大,增加了开发的压力。如何解决Flink原生镜像需要二次构建的问题?StreamPark可以让Flink的构建、测试和部署变得更自动化!

在StreamPark 2.0.0 版本中,修复了诸多Bug,可支持查看 Kubernetes 部署模式下的实时日志,重构了作业运行状态这部分的实现apache配置。目前,在作业部署提交、运行状态等各个方面已做了大量的测试,整体稳定性和可用性也经过企业大量作业的验证,能达到生产可用级别。

值得一提的是,StreamPark为了提升易用性,在新版本中从强依赖MySQL扩展了新的数据库类型,包括H2和PostgreSQLapache配置。其中,系统默认使用H2,对于想要快速体验的用户来说,直接下载安装包、执行启动脚本启动服务即可,无需其他额外配置和操作就可以体验 StreamPark 带来的方便与快捷,并且有效降低了使用成本。


推荐阅读
  • 本文详细介绍了Python编程语言的学习路径,涵盖基础语法、常用组件、开发工具、数据库管理、Web服务开发、大数据分析、人工智能、爬虫开发及办公自动化等多个方向。通过系统化的学习计划,帮助初学者快速掌握Python的核心技能。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 网络运维工程师负责确保企业IT基础设施的稳定运行,保障业务连续性和数据安全。他们需要具备多种技能,包括搭建和维护网络环境、监控系统性能、处理突发事件等。本文将探讨网络运维工程师的职业前景及其平均薪酬水平。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 资源推荐 | TensorFlow官方中文教程助力英语非母语者学习
    来源:机器之心。本文详细介绍了TensorFlow官方提供的中文版教程和指南,帮助开发者更好地理解和应用这一强大的开源机器学习平台。 ... [详细]
  • PHP 5.2.5 安装与配置指南
    本文详细介绍了 PHP 5.2.5 的安装和配置步骤,帮助开发者解决常见的环境配置问题,特别是上传图片时遇到的错误。通过本教程,您可以顺利搭建并优化 PHP 运行环境。 ... [详细]
  • 本文详细介绍了 Apache Jena 库中的 Txn.executeWrite 方法,通过多个实际代码示例展示了其在不同场景下的应用,帮助开发者更好地理解和使用该方法。 ... [详细]
  • 解决微信电脑版无法刷朋友圈问题:使用安卓远程投屏方案
    在工作期间想要浏览微信和朋友圈却不太方便?虽然微信电脑版目前不支持直接刷朋友圈,但通过远程投屏技术,可以轻松实现在电脑上操作安卓设备的功能。 ... [详细]
  • 高效解决应用崩溃问题!友盟新版错误分析工具全面升级
    友盟推出的最新版错误分析工具,专为移动开发者设计,提供强大的Crash收集与分析功能。该工具能够实时监控App运行状态,快速发现并修复错误,显著提升应用的稳定性和用户体验。 ... [详细]
  • 探索1000以内的完美数:因数和等于自身
    本文探讨了如何在1000以内找到所有完美数,即一个数的因数(不包括自身)之和等于该数本身。例如,6是一个完美数,因为1 + 2 + 3 = 6。通过编程实现这一过程,可以更好地理解完美数的特性。 ... [详细]
  • 本文将深入探讨PHP编程语言的基本概念,并解释PHP概念股的含义。通过详细解析,帮助读者理解PHP在Web开发和股票市场中的重要性。 ... [详细]
  • PHP插件机制的实现方案解析
    本文深入探讨了PHP中插件机制的设计与实现,旨在分享一种可行的实现方式,并邀请读者共同讨论和优化。该方案不仅涵盖了插件机制的基本概念,还详细描述了如何在实际项目中应用。 ... [详细]
  • 使用 GitHub、JSDelivr、PicGo 和 Typora 构建高效的图床解决方案
    本文详细介绍了如何利用 GitHub 仓库、JSDelivr CDN、PicGo 图床工具和 Typora 编辑器,搭建一个高效且免费的图床系统。通过此方案,用户可以轻松管理和上传图片,并在 Markdown 文档中快速插入高质量的图片链接。 ... [详细]
  • FinOps 与 Serverless 的结合:破解云成本难题
    本文探讨了如何通过 FinOps 实践优化 Serverless 应用的成本管理,提出了首个 Serverless 函数总成本估计模型,并分享了多种有效的成本优化策略。 ... [详细]
  • Git管理工具SourceTree安装与使用指南
    本文详细介绍了Git管理工具SourceTree的安装、配置及团队协作方案,旨在帮助开发者更高效地进行版本控制和项目管理。 ... [详细]
author-avatar
阿离说你是宝贝
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有