热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

OpenMLDBv0.5.0发布|性能、成本、灵活性再攀高峰!

OpenMLDBv0.5.0发布|性能、成本、灵活性再攀高峰!-OpenMLDBv0.5.0于近期正式发布,性能和功能实现重大优化更新和升级。三大核心升级带来性能、成本、灵活性的全

OpenMLDB v0.5.0 于近期正式发布,性能和功能实现重大优化更新和升级。

三大核心升级带来性能、成本、灵活性的全面优化:

  • 在线性能数量级提升:引入预聚合技术,优化长窗口实时处理效率
  • 低成本落地选择:线上引擎引入基于外存的存储引擎
  • 使用场景灵活性扩展:支持用户自定义函数(UDF)开发

升级一:预聚合技术,优化长窗口实时处理效率

  • 应用场景:一个时间窗口内包含上百万条记录的业务场景(比如横跨数年的长时间窗口),基于纯计算的特征生成方式会带来较高的延迟,并且可能包含了大量的重复计算。
  • 版本升级:OpenMLDB v0.5.0 版本引入全新的预聚合技术,在数据到达时,由数据驱动计算,实时更新预聚合表,大幅节省实时计算时的工作量,部分场景实现超10倍的性能提升。

升级二:线上引擎引入基于外存的存储引擎

  • 应用场景:对于成本较为敏感,但是可以容忍一定性能下降的场景(OpenMLDB 的线上引擎默认使用自研的高性能内存时序数据存储引擎。基于内存的存储引擎虽然带来了极致的存取性能,但是当数据量较大时,内存会带来显著的成本开销)。
  • 版本升级:OpenMLDB v0.5.0 引入了基于外存的存储引擎作为一个额外的选择,使用基于 HDD/SSD 的存储引擎,可将 OpenMLDB 整体的使用成本降低75%以上。

升级三:支持用户自定义函数(UDF)开发

  • 应用场景:非常复杂的应用场景(OpenMLDB 虽然提供了扩展的 SQL 用于特征开发,但是对于非常复杂的场景,依然可能存在表达能力不足的情况,导致用户场景无法上线)。
  • 版本升级:OpenMLDB v0.5.0 版本开放了基于 C/C++ 的用户自定义函数(UDF)的功能,并且支持动态注册。用户的复杂场景可轻松通过 UDF 扩展实现,突破原有 SQL 表达能力的限制。

预告 | 测试报告

OpenMLDB 第一版官方性能基准测试报告将于近期发布,带你详细了解不同场景下 OpenMLDB 的预期性能表现,敬请关注~

预告 | OpenMLDB Kafka Connector

OpenMLDB Kafka Connector已完成开发,原理及操作指南也将于近期发布,欢迎关注~

相关链接:

OpenMLDB 官网:OpenMLDB - 生产级特征开发全栈解决方案

OpenMLDB GitHub链接:GitHub - 4paradigm/OpenMLDB: OpenMLDB is an open-source machine learning database that provides a feature platform enabling consistent features for training and inference.

OpenMLDB v 0.5.0:Release v0.5.0 · 4paradigm/OpenMLDB · GitHub


推荐阅读
  • 如何用UE4制作2D游戏文档——计算篇
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了如何用UE4制作2D游戏文档——计算篇相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]
  • XML介绍与使用的概述及标签规则
    本文介绍了XML的基本概念和用途,包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则,包括标签的尖括号和合法标识符的组成,标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读,读者可以对XML的基本知识有一个全面的了解。 ... [详细]
  • Google Play推出全新的应用内评价API,帮助开发者获取更多优质用户反馈。用户每天在Google Play上发表数百万条评论,这有助于开发者了解用户喜好和改进需求。开发者可以选择在适当的时间请求用户撰写评论,以获得全面而有用的反馈。全新应用内评价功能让用户无需返回应用详情页面即可发表评论,提升用户体验。 ... [详细]
  • Oracle10g备份导入的方法及注意事项
    本文介绍了使用Oracle10g进行备份导入的方法及相关注意事项,同时还介绍了2019年独角兽企业重金招聘Python工程师的标准。内容包括导出exp命令、删用户、创建数据库、授权等操作,以及导入imp命令的使用。详细介绍了导入时的参数设置,如full、ignore、buffer、commit、feedback等。转载来源于https://my.oschina.net/u/1767754/blog/377593。 ... [详细]
  • Windows7 64位系统安装PLSQL Developer的步骤和注意事项
    本文介绍了在Windows7 64位系统上安装PLSQL Developer的步骤和注意事项。首先下载并安装PLSQL Developer,注意不要安装在默认目录下。然后下载Windows 32位的oracle instant client,并解压到指定路径。最后,按照自己的喜好对解压后的文件进行命名和压缩。 ... [详细]
  • 我们有(据我所知)星型模式SQL数据库中的数据文件。该数据库有5个不同的文件,扩展名为 ... [详细]
  • 在Oracle11g以前版本中的的DataGuard物理备用数据库,可以以只读的方式打开数据库,但此时MediaRecovery利用日志进行数据同步的过 ... [详细]
  • 本文介绍了Oracle数据库中tnsnames.ora文件的作用和配置方法。tnsnames.ora文件在数据库启动过程中会被读取,用于解析LOCAL_LISTENER,并且与侦听无关。文章还提供了配置LOCAL_LISTENER和1522端口的示例,并展示了listener.ora文件的内容。 ... [详细]
  • Spring特性实现接口多类的动态调用详解
    本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍,以及getBeansOfType方法的应用,解决了在实际工作中遇到的接口及多个实现类的问题。同时,文章还提到了SPI使用的不便之处,并介绍了借助ApplicationContext实现需求的方法。阅读本文,你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]
  • 本文详细介绍了在ASP.NET中获取插入记录的ID的几种方法,包括使用SCOPE_IDENTITY()和IDENT_CURRENT()函数,以及通过ExecuteReader方法执行SQL语句获取ID的步骤。同时,还提供了使用这些方法的示例代码和注意事项。对于需要获取表中最后一个插入操作所产生的ID或马上使用刚插入的新记录ID的开发者来说,本文提供了一些有用的技巧和建议。 ... [详细]
  • 本文详细介绍了Spring的JdbcTemplate的使用方法,包括执行存储过程、存储函数的call()方法,执行任何SQL语句的execute()方法,单个更新和批量更新的update()和batchUpdate()方法,以及单查和列表查询的query()和queryForXXX()方法。提供了经过测试的API供使用。 ... [详细]
  • ALTERTABLE通过更改、添加、除去列和约束,或者通过启用或禁用约束和触发器来更改表的定义。语法ALTERTABLEtable{[ALTERCOLUMNcolu ... [详细]
  • 本文详细介绍了如何使用MySQL来显示SQL语句的执行时间,并通过MySQL Query Profiler获取CPU和内存使用量以及系统锁和表锁的时间。同时介绍了效能分析的三种方法:瓶颈分析、工作负载分析和基于比率的分析。 ... [详细]
  • MySQL语句大全:创建、授权、查询、修改等【MySQL】的使用方法详解
    本文详细介绍了MySQL语句的使用方法,包括创建用户、授权、查询、修改等操作。通过连接MySQL数据库,可以使用命令创建用户,并指定该用户在哪个主机上可以登录。同时,还可以设置用户的登录密码。通过本文,您可以全面了解MySQL语句的使用方法。 ... [详细]
author-avatar
落墨
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有