全票通过！国内首个开源图数据库HugeGraph成功进入Apache孵化器

作者：零食专卖店 | 来源：互联网 | 2023-07-28 18:19

国内首个开源图数据库HugeGraph正式通过世界顶级开源组织Apache软件基金会的投票决议，以全票通过的优秀表现正式成为Ap

北京时间2022年1月23日，国内首个开源图数据库 HugeGraph 正式通过世界顶级开源组织 Apache 软件基金会的投票决议，以全票通过的优秀表现正式成为 Apache 孵化器项目！

根据 Apache 软件基金会邮件列表显示，投票结果在包含 12 个约束性投票 (binding votes) 和 11 个非约束性投票(non-binding votes) 的情况下，全部投票人持赞同意见，无弃权票和反对票，投票顺利通过。（详见文末链接 [HugeGraph 投票结果]）

2022年5月10日，百度宣布由百度安全自主研发的图数据库 HugeGraph 捐赠给 Apache 软件基金会，成为 Apache 孵化项目，孵化成功的HugeGraph有望成为全球首个 Apache 软件基金会的图数据库顶级项目。本次捐赠将促使国产图数据库走向世界，对生态建设产生深远的影响，让更多开发者因此受益。

HugeGraph 是百度自研的大规模图数据库，也是国内首个开源的图数据库，提供了一站式的千亿级大规模图数据的存储、在线查询、离线分析平台。HugeGraph 于2016年项目启动，2018年对外开源，2022年捐赠给 Apache 软件基金会。至此，HugeGraph 成为 Apache 软件基金会项目中的首个图数据库平台，将进入一个全新的发展阶段。

Apache软件基金会官网截图

百度是一家积极参与开源的公司，在这个开源项目已成为软件基石的时代，享受业界开源成果的同时，也对外贡献了大量的开源项目，包括深度学习框架飞桨PaddlePaddle、自动驾驶平台 Apollo、可视化渲染库 Apache ECharts、数据仓库 Apache Doris 等。一方面是因为百度的技术基因，另一方面也是表达一种开放的态度。百度深深理解在技术领域一枝独秀不是春，只有拥抱开源，很多技术和产品才能加速发展、拓宽边界。开源社区有无穷的力量，与广大用户及开发者共同成长，打造繁荣的开源生态，是一件多赢的事情。截至 2021 年底百度已在 Github 主导的 21 个开源组织累计开源项目1000+ 个，社区贡献者达 1.8万+ ，获得 Star 总数 37万+。其中，HugeGraph是百度于2018年开源的国内首款图数据库。

百度开源知名项目

随着大数据、知识图谱、工业互联网、强人工智能等互联网创新型业务应用的快速发展，非关系型数据库应用将加速落地。图数据库能够支撑新型应用场景的关联分析业务，根据Gartner预测，到2025年图技术将应用于80%的数据和分析创新，远高于2021年的10%，而图技术是图数据库的核心技术，从而将推动图数据库规模持续增长。百度安全部主任架构师包沉浮表示：“伴随全球范围内的人工智能革命，数据呈现爆炸式增长，企业能否充分利用好海量的多模态数据影响着其发展的未来。图数据库相比传统的关系型数据库，在处理规模庞大、错综复杂的数据关系方面具有较大优势，广泛适用于社交、电商、金融、安全风控等场景，也是知识图谱等人工智能技术的重要基石”。百度安全部数据安全业务副总经理韩祖利也表示：“开源有助于从产学研教用各方面强化数据库生态建设，扩大图数据的人才规模及上下游生态影响力，HugeGraph通过Apache开源社区的运营，快速获得反馈并加快产品开发、提升产品质量，同时反哺社区开发者等生态伙伴”。

从此刻开始，HugeGraph 图数据库将属于 Apache 软件基金会的项目，Apache HugeGraph 将变得更加开放。随着图数据市场需求的爆发，百度将 HugeGraph 捐赠给 Apache 软件基金会，也是希望通过 Apache 软件基金会成熟的运营机制、中立并且可持续的平台，来吸引开发者参与共建、共享成果，从而加速 HugeGraph 项目完善、壮大图数据库社区生态。本次捐赠促使国产图数据库走向世界，对生态建设产生深远的影响，将有让更多的开发者因此受益。

在进入 Apache 软件基金会之后，HugeGraph 依旧保持初心，持续为【打造 HugeGraph 成为业界最好用、最广泛的图数据平台】这个目标而奋斗。我们相信在「Apache Way」的指导下，HugeGraph 开源社区将会快速发展，从而加速目标的达成。社区将秉持更加开放包容的心态，欢迎更多贡献者加入，共同为中国开源事业添砖加瓦！

1.Apache 软件基金会简介

Apache 软件基金会（Apache Software Foundation，简称为ASF），是专门为支持开源软件项目而创办的一个非盈利性组织，也是目前世界上最大的顶级开源软件基金会。apache.org 每周流量超过3500万，镜像下载量超过900w，每天都影响50%以上的互联网基础设施。Apache 软件基金会持续举办的社区盛会、马拉松、全球路演，让其中的开源项目在全球范围崭露头角。开源软件相比闭源的企业软件，具有费用低廉、高质量、免受厂商锁定的优势。加入最具广泛影响力的 Apache 软件基金会，几乎成为开源项目获得更多信任与支持的最佳选择。

Apache 软件基金会的使命是「为公众利益提供软件」。其核心价值观是「Apache Way」--经历了时间考验的最佳实践，其包含两个核心原则：【Community Over Code】与【Meritocracy】， Apache Way 指导我们如何打造一个健康、多样、包容的社区，以促进项目不断成长，可持续发展，Apache 软件基金会在运作机制上帮助项目管理者践行 Apache Way。

「Apache Way」原则：【Community Over Code】，社区为重原则。对于一个软件来说，代码的重要性是显而易见的。但是，「Apache Way」认为，代码诚然重要，而营造一个良好的社区更加重要，社区是由许多志同道合的个体所组成。对一个项目长远的成长壮大、可持续发展来说，开发者互相尊重、多样包容、持续贡献、热心帮助等这些因素才是根本。因为再好的项目代码，如果没有源源不断的人参与进来也很难发展壮大，因此 Apache 认为人才是社区的核心。

「Apache Way」原则：【Meritocracy】，精英管理原则。Apache 项目具备持久、中立的特性，并且基金会本身不提供资金支持，因此社区非常欢迎新人贡献，Apache 管理机制确保任何人都可以参与到项目中来。对社区的贡献最终会体现到在项目中授予的代码提交权限，包括成为项目管理委员、成为Apache软件基金会成员。Apache最常见的决策方式是投票，这是一种开放、高度透明、基于共识的方式，有能力/有贡献/受尊敬的人往往容易被推举出来管理项目，推动社区的发展。【Meritocracy】原则保证那些参与项目、关心项目的人才是项目的管理者。

Apache 孵化器导师寄语：

在 HugeGraph 加入 Apache 软件基金会之际，HugeGraph 的 Apache Mentor 以及孵化器导师也发来祝福寄语：

非常高兴能够成为HugeGraph进入ASF孵化器的领路人，帮助推进和见证了HugeGraph完成项目捐赠的全部过程。祝愿HugeGraph在孵化器中茁壮成长，吸引更多的图数据库技术爱好者加入到项目中来，共建一个繁荣发展的技术共同体！

-- 姜宁 ASF Member、ASF PPMC、

ASF2022年董事会董事

很高兴能成为HugeGraph的Mentor，参与并帮助它在Apache Incubator不断壮大并且向着顶级项目前进。相信HugeGraph的产品价值和团队贡献会让它在国际舞台上熠熠生辉！

-- 潘娟 Apache Member、Apache ShardingSphere PMC

很高兴看到 Apache 生态有 HugeGraph 图数据库的出现，进入孵化器是一个新的征程，希望 HugeGraph 社区的伙伴们持续努力学习 Apache way，早日成为顶级项目！

-- 代立冬 Apache Member、Apache DolphinScheduler PMC Chair

恭喜HugeGraph成功进入Apache孵化器并完成商标捐赠！在日常的讨论过程中，能够充分感受到大家对开源的热情和对技术的追求。希望大家继往开来，砥砺前行，也希望更多的图数据库技术爱好者加入我们，共同建设一个更加繁荣和多样化的社区，早日完成孵化并成为Apache顶级项目！

-- 李钰 Apache Member、Apache Flink & HBase PMC Member

未来企业级计算引擎是多个引擎百花齐放的，其中图计算必然是很重要的一部分，HugeGraph作为其中一个新兴图计算软件已经在百度运行多年，非常欢迎HugeGraph加入Apache孵化器，希望可以在Apache软件基金会获得更大进步！

-- 郭炜Apache Member、Apache DolphinScheduler PMC、ClickHouse中国社区创始人

恭喜 HugeGraph 成为 Apache 软件基金会孵化器项目，也希望可以有更多对图数据库感兴趣的小伙伴一起加入 HugeGraph 项目，建设开源社区更好的生态环境！

-- 羡辙 Apache Member、Apache ECharts PMC Chair

祝贺HugeGraph进入Apache软件基金会孵化器，这是HugeGraph走向世界的一大步。很有幸成为HugeGraph的孵化导师，期待有更多技术爱好者和用户加入，祝社区快速成长成为顶级项目，成为图数据管理领域的中流砥柱。

-- 黄向东 Apache Member、Apache IoTDB PMC Chair

2.HugeGraph 前世今生

2.1.为什么而生

图数据库擅长海量数据的复杂关联关系分析，挖掘“万物互联”价值。通过HugeGraph深层次地分析大规模图谱中的关联特征，让用户更简单地从数据中获取价值。

2.2.解决了哪些问题

2.2.1.百度内部用户场景

反欺诈与账号反作弊
用户增长风控
业务风控与IdMapping图谱
数据溯源与追踪图谱
企业关系图谱
商业知识图谱
智能推荐图谱
百度百科图谱
百度汉语图谱
智能运维与网络拓扑图谱
测试平台调用链关系图谱

2.2.2.外部用户场景

金融风控
保险风控
智能问答图谱
网络安全事件图谱
社会人/物轨迹关系图谱
区块链的威胁情报平台
游戏反欺诈
电网拓扑图谱
智慧警务
元数据管理系统
资产关系图谱

2.3.系统架构与特性

2.3.1.HugeGraph 架构：

HugeGraph整体结构图

HugeGraph技术架构图

2.3.2.HugeGraph 特点：

易用：HugeGraph 提供一体化的图数据库&图计算平台，支持 Gremlin 图查询语言与 RESFful API，同时提供通用的图算法API，具备功能齐全的周边工具，轻松实现基于图的各种查询分析运算。
高效：HugeGraph 在图存储和图计算方面做了深度优化，提供对多种数据源的批量导入工具，轻松完成千亿级数据快速导入，通过优化过的查询达到图检索的毫秒级响应。支持数千用户并发的在线实时操作。
通用：HugeGraph 支持 Apache Gremlin 标准图查询语言和 Property Graph 标准图建模方法，支持基于图的 OLTP 和 OLAP 方案。集成 Apache Hadoop 及 Apache Spark 大数据平台。
可扩展：支持分布式存储、数据多副本及横向扩容，内置多种后端存储引擎（RocksDB、Cassandra、HBase、TiKV、ScyllaDB、MySQL、PostgreSQL等），也可插件式轻松扩展后端存储引擎。
开放：HugeGraph 代码开源，客户可自主修改定制，选择性回馈开源社区。而在捐赠给 Apache 软件基金会之后，HugeGraph 变得更加开放、中立。

2.3.3.HugeGraph 功能：

支持 Schema、Vertex、Edge等数据操作的丰富的 API 接口。
支持 Apache Gremlin 图查询语言，Gremlin提供了标准、灵活、丰富的图查询语法，支持丰富的查询算子：点/边遍历、条件过滤、路径查询、循环迭代、分支选择、模式匹配、数据分组、统计运算、逻辑运算、数学运算、数据聚合等。支持异步执行 Gremlin 任务。
支持完善的属性索引，支持二级索引、范围索引、全文索引，支持联合索引，支持唯一约束索引，支持集合属性索引。索引数据均为原生实现，不依赖额外第三方存储系统。
支持分布式存储、图分片、多副本。在大规模图场景下，基于存储引擎进行了深度优化：支持高效的 OLTP 行存结构、支持超级点切分与索引加速、支持可检索的数据压缩存储、存储引擎定向的数据结构优化、支持高性能的图覆盖更新与合并更新、支持高效的并行批量写优化、支持大规模聚集属性索引优化、支持基于特定存储的特性优化（如协处理器）。
遵循TinkerPop事务规范，支持Read Committed级别事务。
支持极低内存消耗的流式计算框架、支持大规模数据的分页并行读取。
支持高速的堆内缓存、支持大容量的堆外缓存。
支持多种顶点ID策略：支持主键ID、支持自动生成ID、支持用户自定义字符串ID、支持用户自定义数字ID。
支持顶点边数据的 TTL。
支持用户认证和细粒度的权限控制。
支持多图实例、动态创建图。
内置丰富的 OLTP 算法包括：最短路径、路径搜索、协同推荐、实时推荐等17种算法，比如：K-neighbor(K-hop)、K-out、Shortest Path、Weighted Paths、Crosspoints、Rings、Jaccard Similarity、Fusiform Similarity、Personal Rank等。
内置丰富的 OLAP 图算法包括：社区发现算法、路径检测算法、中心性算法、相似性算法等，比如：度中心性、特征中心性、中介中心性、紧密中心性、三角形计数、聚类系数、PageRank、连通子图、LPA 社区发现、Louvain 社区发现、K-Core 社区发现、环路检测等。

2.3.4.HugeGraph 优势：

单机性能好，写50万/秒、读10万/秒，均好于Neo4j 2~3倍+，远高于MySQL性能；单机可支撑50~100亿级规模的图；支持高效的图索引、并行查询、算子下推、缓存、数据压缩、行列混存等技术。
支持分布式共享存储与图分片，图存储/KV存储/模糊索引一体，摆脱运维多套系统的复杂度；
图数据库与图计算系统紧密打通，普通用户开箱即用，单系统内具备HTAP能力，图计算系统支持千亿规模图的BSP并行计算；
千亿规模流式体验，基于存储而非内存架构，不因数据规模增大而性能断崖式下跌，提供强有力的稳定性保障；
支持千亿大规模的在线增量写入，提供覆盖/更新/合并写，提供毫秒级查询，极致算子下推/向量化执行优化；
完全兼容Apache Gremlin查询语言，通过Apache TinkerPop兼容性测试；
提供完善的工具链hugegraph-toolchain，内置丰富的图算法，可视化界面hugegraph-hubble，数据导入工具hugegraph-loader，数据备份&恢复工具hugegraph-tools等；

3.HugeGraph 未来 Apache 之路

3.1.HugeGraph 开源社区概况

截止目前，HugeGraph 在 GitHub 上有近 2000 Stars，HugeGraph 所有子项目 Contributors 数量超过 50 名贡献者（其中50%以上都是外部贡献者），社区版下载量超过2万。有超过100家社区用户长期使用 HugeGraph，包括网易、360、科大讯飞、网商银行、虎牙直播、YY直播、货拉拉、百分点科技等，并且以上公司也在与我们一道共建开源社区。

3.2.HugeGraph 社区发展规划

虽然 HugeGraph 的大部分基本开发已经完成，但仍有几个领域需要进一步完善。我们计划在 Apache 孵化阶段完成以下开发工作：

更高的图计算加载性能：目前的架构（尤其是计算和存储分离）带来了更大的灵活性与节约成本，但是存在一些性能开销，我们需要对此进行改进，另外，我们需要改进内存/磁盘自适应和并行计算等方面的性能。
基于RocksDB的分片存储的开发，基于查询和存储的亲和架构。RocksDB 存储引擎以高性能著称，但目前 HugeGraph 仅支持基于 RocksDB + Raft 的复制模式，因此我们计划支持基于 RocksDB 存储的横向分片扩展特性和分布式原子事务特性。
分布式无主模式支持：目前 HugeGraph 分布式集群下，TaskScheduler 调度目前受限于静态配置的 master/worker 模式，导致不易扩展和无法保证master高可用，因此我们计划支持动态选举的 master 机制来解决此问题。
支持并行 OLTP 查询：目前 HugeGraph 可以进行并行 OLAP 图计算，但 OLTP 查询只支持单机并行执行。在某些场景下，OLTP 查询需要在多台机器上并行实现，我们可以尝试支持此特性。
更高性能的查询：例如支持更快的查询优化、并行原语集合和细粒度的缓存策略。
更好的易用性：支持更多的 OLTP/OLAP 算法、API 和工具链、更丰富的 UI 等。
更丰富的生态支持：增加更多的生态链支持，比如 Flink、DolphinScheduler、SeaTunnel 等适配，比如支持运维、监控、可观测等平台。
更多语言客户端：如支持 Python 语言 Client、 Go 语言 Client、支持高性能 RPC SDK等。
其他一些优化：比如支持预排序图加载等。

3.3.为什么参与 Apache HugeGraph (Incubating) 开源社区

开源的核心是建立开发者与用户社区，众人拾柴火焰高，通过协作，打造活跃而广泛的生态，促进项目的高速、可持续发展。开源趋势本质是社会竞争的结果，也是社会发展的需要，开源协作能大大提升效率、扩充生态。当行业发展到一定程度，仅靠一家企业的投入不足以维持一个产品的竞争力时，开源是提升项目竞争力的一个很好的选择。

将 HugeGraph 捐赠给 Apache 软件基金会，正是希望通过 Apache 软件基金会成熟的运营机制、中立的状态，来协同开发者参与共建、共享成果，从而加速 HugeGraph 项目完善、壮大图数据库社区生态。

作为开发者，参与 Apache HugeGraph (Incubating) 开源贡献有什么价值呢？给贡献者带来的好处多多：参与开源社区获得分享的快乐与贡献的荣誉，即使是”技术小白“也没关系，”技术大佬“提供耐心的手把手指导与代码评审、相互交流从而快速提升技术能力与代码质量，获得展现技术实力的广大舞台（比如硬核秀代码阅码场、各种大会的技术分享与演讲机会），成为 Apache Contributor/Committer 提升个人影响力、获得极大的认可和广泛的尊重，实现自我价值与社会价值。

捐赠给 Apache 软件基金会之后，HugeGraph 项目将变得更加开放，项目将完全按照 Apache 软件基金会开放、透明、共识的协作方式发展。HugeGraph 作为 Apache 刚起步的项目，即将经历如婴儿长大成人的过程，随着图数据市场需求的爆发，将开启非常极速的发展模式。我们非常渴望更多新的 Contributor、Committer 加入进来，在强大阵容的 Apache 导师指导下、一起伴随技术大佬们共同高速成长。持续参与 Apache 开源贡献的开发者，都有极大机会将成为 Apache Committer，欢迎加入 HugeGraph 项目成为其中一员。

3.4.如何参与 Apache HugeGraph (Incubating) 开源社区

开启你的开源之旅，来一起参与贡献 Apache HugeGraph (Incubating) 社区吧：

只要有贡献意愿的同学，就可以给邮箱发送邮件，表明“想要加入HugeGraph开发者群”（请附带上微信号），将会获得手把手的贡献指导。
参与期待贡献列表 “help wanted”：
https://github.com/issues?q=user%3Ahugegraph+label%3A%22help+wanted%22+
参与期待贡献列表 “bug”：
https://github.com/issues?q=user%3Ahugegraph+label%3Abug
参与期待贡献列表 “feature”：
https://github.com/issues?q=user%3Ahugegraph+label%3A%22feature%22+
更多HugeGraph开源背景信息及贡献指导：
https://github.com/hugegraph/hugegraph/issues/1753