热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

实时计算既有Flink,为何又推出个StreamPark?

StreamPark2.0.0版本于2023年2月21日正式发布,有流处理需求的开发者可以通过StreamPark官网以及GitHub去下载apache配置

StreamPark 2.0.0 版本于2023年2月21日正式发布,有流处理需求的开发者可以通过StreamPark官网以及GitHub去下载apache配置。StreamPark这次更新的亮点是,前端构建和启动速度同历史版本比提升了 5~10 倍,并且对 Apache Flink 做了更好的支持,支持最新的 Flink 1.16版,同时Flink 作业 on Kubernetes 达到生产可用级别。

实时计算既有Flink,为何又推出个StreamPark?

在了解StreamPark 2.0.0 版本具体更新了哪些内容前apache配置,我们先来脑补下定义,到底是什么StreamPark ?Flink本身就是一个开源流处理框架,为何StreamPark会成为Apache重点孵化的项目?二者到底是什么关系?

让流处理更简单

从官方定义看,StreamPark 是一个流处理应用开发管理框架apache配置。基于StreamPark,开发者可以轻松构建和管理流处理应用程序,更好地使用Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架,同时可支持更多其他引擎。StreamPark最早叫做StreamX,于2021年4月正式开源;2022年2月24日,StreamPark发布1.2.2首个稳定版;2022年8月更名为StreamPark。

大体来看,StreamPark是一个位居Flink 之上的开发管理平台,有了StreamPark,用户可以无障碍地拥抱Flink ,更快地构建实时数仓和流式数仓,相当于是一个流处理应用的服务总线apache配置

当然,StreamPark的核心能力可能会更多,包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等,比如:除了标准配置和开发流程,还有Flink SQL开发工作台、一站式流任务开发管理平台的内嵌,多版本流引擎的支持,多集群环境的支持等等apache配置

有效解决Flink on Kubernetes太重的问题

StreamPark之所以成为开源社区关注的重点项目,除了细节上更新,比如:提供了Docker 方式一键部署启动 StreamPark ,支持了通过 copy 已有的作业来快速创建一个新的作业,更大程度地提升了 StreamPark 的易用性……还有一个关键性的用户体验,那就是Flink on Kubernetes实现生产级别的构建apache配置

当企业决定使用Flink做数据引擎时,通常会使用Flink on Kubernetes模式做实时任务流管理apache配置。但Flink没有解决一个问题,那就是每提交一个任务,需要打包新的镜像提交到私有仓库,然后再调用Flink Run指令拉通Kubernetes,最终获取镜像运行Pod,任务提交后还要去Kubernetes查log,镜像流程太长。如果单纯地使用命令去提交每个任务,任务量太大,增加了开发的压力。如何解决Flink原生镜像需要二次构建的问题?StreamPark可以让Flink的构建、测试和部署变得更自动化!

在StreamPark 2.0.0 版本中,修复了诸多Bug,可支持查看 Kubernetes 部署模式下的实时日志,重构了作业运行状态这部分的实现apache配置。目前,在作业部署提交、运行状态等各个方面已做了大量的测试,整体稳定性和可用性也经过企业大量作业的验证,能达到生产可用级别。

值得一提的是,StreamPark为了提升易用性,在新版本中从强依赖MySQL扩展了新的数据库类型,包括H2和PostgreSQLapache配置。其中,系统默认使用H2,对于想要快速体验的用户来说,直接下载安装包、执行启动脚本启动服务即可,无需其他额外配置和操作就可以体验 StreamPark 带来的方便与快捷,并且有效降低了使用成本。


推荐阅读
  • 深入解析Serverless架构模式
    本文将详细介绍Serverless架构模式的核心概念、工作原理及其优势。通过对比传统架构,探讨Serverless如何简化应用开发与运维流程,并介绍当前主流的Serverless平台。 ... [详细]
  • docker镜像重启_docker怎么启动镜像dock ... [详细]
  • 本文将详细介绍如何在ThinkPHP6框架中实现多数据库的部署,包括读写分离的策略,以及如何通过负载均衡和MySQL同步技术优化数据库性能。 ... [详细]
  • 全能终端工具推荐:高效、免费、易用
    介绍一款备受好评的全能型终端工具——MobaXterm,它不仅功能强大,而且完全免费,适合各类用户使用。 ... [详细]
  • Spring Cloud因其强大的功能和灵活性,被誉为开发分布式系统的‘一站式’解决方案。它不仅简化了分布式系统中的常见模式实现,还被广泛应用于企业级生产环境中。本书内容详实,覆盖了从微服务基础到Spring Cloud的高级应用,适合各层次的开发者。 ... [详细]
  • Google排名优化-面向Google(Search Engine Friendly)的URL设计 ... [详细]
  • 深入解析BookKeeper的设计与应用场景
    本文介绍了由Yahoo在2009年开发并于2011年开源的BookKeeper技术。BookKeeper是一种高效且可靠的日志流存储解决方案,广泛应用于需要高性能和强数据持久性的场景。 ... [详细]
  • 本文探讨了2019年前端技术的发展趋势,包括工具化、配置化和泛前端化等方面,并提供了详细的学习路线和职业规划建议。 ... [详细]
  • 前言无论是对于刚入行工作还是已经工作几年的java开发者来说,面试求职始终是你需要直面的一件事情。首先梳理自己的知识体系,针对性准备,会有事半功倍的效果。我们往往会把重点放在技术上 ... [详细]
  • 本文探讨了大型服务端开发过程中常见的几个误区,包括异步任务处理不当、日志同步模式使用、网络操作未设置超时、缓存命中率及响应时间未统计、单一缓存模式、分布式缓存加锁不当以及团队管理上的误区,旨在帮助开发者避免这些常见错误。 ... [详细]
  • APM(Application Performance Management,应用性能管理)对于提供互联网服务的企业至关重要。本文将深入探讨APM如何帮助识别和解决导致用户流失的技术问题,以及它在提升整体用户体验方面的作用。 ... [详细]
  • 热璞数据库与云宏达成兼容性互认证,共筑数据安全屏障
    热璞数据库与云宏信息技术有限公司近期宣布完成产品兼容性互认证,旨在提升数据安全性与稳定性,支持企业数字化转型。 ... [详细]
  • NVIDIA Titan RTX深度评测
    NVIDIA的Titan RTX被誉为当前最强大的桌面显卡之一,其卓越的性能和高昂的价格吸引了众多专业人士和技术爱好者的关注。本文将详细介绍Titan RTX的技术规格、性能表现及应用场景。 ... [详细]
  • 切面编程在软件开发中的应用远不止于减少代码冗余,它还能够显著提升系统的模块化程度。利用AOP技术,开发人员可以有效地将那些跨越多个模块的功能独立出来,从而增强系统的内聚性和可维护性。 ... [详细]
  • 字节跳动夏季招聘面试经验分享
    本文详细记录了字节跳动夏季招聘的面试经历,涵盖了一、二、三轮面试的技术问题及项目讨论,旨在为准备类似面试的求职者提供参考。 ... [详细]
author-avatar
阿离说你是宝贝
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有