Elastic8.0：开启速度、规模、相关性和简单的新时代

转载&＃xff1a;Elastic 8.0&＃xff1a;开启速度、规模、相关性和简单的新时代

我们很高兴地宣布 Elastic 8.0 的正式发布&＃xff0c;随着Elasticsearch的向量检索功能的增强、对 NLP 的原生支持、越来越简化的数据打通&＃xff0c;以及精简的安全体验&＃xff0c;Elastic 8.0 迎来了一个速度、规模、相关性和简单的新时代。

Elastic Stack 8.0 introduction_哔哩哔哩_bilibili

无论是将人和团队与重要的内容联系起来、保持关键任务的应用和基础设施在线&＃xff0c;还是保护整个数字生态系统免受日益复杂的网络威胁&＃xff0c;Elastic 8.0都为下一代搜索驱动的解决方案奠定了基础&＃xff0c;帮助每个人达到新的成功水平。

准备好开始了吗&＃xff1f;Elastic 8.0 现在可以在 Elastic Cloud 上使用--这是唯一一个包含最新版本中所有新功能的 Elasticsearch 托管产品。

每一个结束意味着一个新的开始。当我们开始新的一年时&＃xff08;2021年再见&＃xff0c;2022年你好&＃xff09;--我们也开始进入一个速度、规模和相关性的 Elastic 8.0 新时代。

我们的客户和社区都了解&＃xff0c;Elastic 始终奉行对速度、规模和相关性的承诺。每一个 Elastic 版本都有增强和优化&＃xff0c;以确保 Elasticsearch 是最快速、最易扩展、最强大的搜索引擎。

事实上&＃xff0c;在过去的三年里&＃xff0c;我们在以下方面取得了巨大的进步&＃xff1a;减少内存的使用&＃xff08;允许每个节点管理更多的数据&＃xff09;&＃xff0c;减少查询成本&＃xff08;尤其是对大型部署的影响&＃xff09;&＃xff0c;并引入一些全新的功能来提高相关性。

例如&＃xff0c;随着 7.x 版本的发布&＃xff0c;我们提高了日期柱状图和搜索聚合的速度、增强了页面缓存的性能、并创建了一个新的“预过滤”搜索阶段。此外&＃xff0c;我们通过减少内存堆栈&＃xff0c;完全支持 ARM 架构&＃xff0c;引入新的方法来减少存储&＃xff0c;使我们的客户能够通过新的冻结层和可搜索快照轻松地将计算与存储分离&＃xff0c;从而降低了资源需求。

对于我们来说&＃xff0c;对 Elastic Stack 做无限优化最赞的一点就在于&＃xff0c;无论您如何选择将您的数据用于工作&＃xff0c;这些增强功能本质上都能够帮助您以速度和规模进行搜索、解决和成功——无需额外的工作。

Elastic 8.0 带来了一整套原生的向量检索功能&＃xff0c;从而赋能客户和其员工能够使用自己的语言和文字进行搜索并获得高度相关的结果。

在过去的两年里&＃xff0c;我们一直在努力使 Elasticsearch 成为进行向量检索的好地方。早在 Elasticsearch 7.0 发布时&＃xff0c;我们就为高维向量引入了字段类型。在 Elasticsearch 7.3 和 Elasticsearch 7.4 中&＃xff0c;我们引入了对向量相似性函数的支持。这些早期版本展示了将向量检索技术引入 Elasticsearch 生态系统的前景。我们很高兴地看到我们的客户和社区热切地将它们用于广泛的案例中。

今天&＃xff0c;在 Elasticsearch 8.0中&＃xff0c;我们把对自然语言处理&＃xff08;NLP&＃xff09;模型的本地支持直接引入 Elasticsearch&＃xff0c;让向量搜索更加实用。此外&＃xff0c;Elasticsearch 8.0 还包括对 ANN 搜索的原生支持--使基于向量的查询与基于向量的文档库进行快速、大规模的比较成为可能。

用NLP的力量开辟一个新的分析世界

Elasticsearch 一直是做 NLP 的好地方&＃xff0c;但之前它需要在 Elasticsearch 之外做一些处理&＃xff0c;或者编写一些相当复杂的插件。在8.0版本中&＃xff0c;用户将可以直接在 Elasticsearch 中进行命名实体识别、情感分析、文本分类等&＃xff0c;而不需要额外的组件或代码。在 Elasticsearch 内部计算和创建向量&＃xff0c;不仅在横向可扩展性方面是一个 "胜利"&＃xff08;通过在服务器集群中分布计算&＃xff09;--这一变化也为 Elasticsearch 用户节省了大量的时间和精力。

Elastic Stack 8.0 介绍 2_哔哩哔哩_bilibili

在 Elastic 8.0中&＃xff0c;用户可以直接在 Elasticsearch 中使用 PyTorch 机器学习模型&＃xff08;如 BERT&＃xff09;&＃xff0c;并在 Elasticsearch 中使用这些模型进行推理。这些模型可以是你自己的自定义模型&＃xff0c;也可以是向社区发布的模型&＃xff0c;如 Hugging Face。

通过让用户直接在 Elasticsearch 中进行推理&＃xff0c;比以往任何时候都更容易将现代 NLP 的力量整合到搜索应用和体验中&＃xff08;想想看&＃xff1a;不需要写代码哦&＃xff01;&＃xff09;&＃xff0c;本质上更有效率&＃xff08;感谢 Elasticsearch 的分布式计算能力&＃xff09;&＃xff0c;而且 NLP 本身变得更快&＃xff0c;因为你不需要将数据转移到一个单独的进程或系统中。

快速搜索&＃xff0c;规模搜索

鉴于 Elastic 8.0 是基于 Lucene 9.0 的&＃xff0c;那些利用现代 NLP 的搜索体验&＃xff0c;由于对 ANN 的&＃xff08;新&＃xff09;原生支持&＃xff0c;可以做到更加快速和规模化。ANN 使快速有效地对比基于向量的查询和基于向量的文档语料库&＃xff08;无论是小的、大的还是巨大的语料库&＃xff09;成为可能。

Elastic Stack 8.0 介绍 3_哔哩哔哩_bilibili

想想看&＃xff0c;这仅仅是个开始......

总之&＃xff0c;通过对现代 NLP 模型的本地支持和对ANN搜索的本地支持&＃xff0c;使得 Elastic 8.0 为我们的客户和社区释放了向量检索的力量。

Elastic Stack 8.0 介绍 4_哔哩哔哩_bilibili

未来&＃xff0c;由搜索驱动的解决方案&＃xff08;如Elastic Enterprise Search&＃xff09;将使利用向量检索的强大能力变得非常简单。在这个例子中&＃xff0c;用户的搜索词不需要与最佳结果完全匹配。向量检索能够 "连接这些点"&＃xff0c;并轻松地浮现出最相关的结果。

通过两个新 AWS 集成来简化云原生观察能力

在过去的几个版本中&＃xff0c;我们简化了从任何来源获取任何类型的数据到 Elastic Stack 的过程。随着 Elastic 8.0 的发布&＃xff0c;我们进一步扩大了云原生集成&＃xff0c;有两个新的 AWS 集成&＃xff0c;即&＃xff1a;一个新的 AWS Lambda 应用程序集成和一个新的 Amazon S3 Storage Lens 集成。

新的 AWS Lambda 应用发布在AWS无服务器应用库&＃xff08;SAR&＃xff09;中&＃xff0c;使用户能够简化他们的架构并简化数据摄取进程&＃xff0c;而不需要支付配置虚拟机或安装数据传输器的开销。简单地说&＃xff0c;用户现在只需在 AWS 控制台内点击几下&＃xff0c;就能将日志从 Amazon S3 摄取到他们的 Elastic Cloud 部署中。

通过 Elastic 在12月首次宣布的 Amazon S3 Storage Lens 集成&＃xff0c;用户可以轻松地将 Storage Lens 指标运送到他们的 Elastic Cloud 部署&＃xff0c;使用 Elasticsearch 强大的搜索和分析功能以及 Kibana 强大的仪表盘功能来优化 Amazon S3 使用成本&＃xff0c;在确保数据保护效率的基础上&＃xff0c;监控用户活动趋势。另外&＃xff0c;现在你可以通过 AWS Marketplace 注册&＃xff0c;轻松开始使用 AWS 上的 Elastic Cloud 的免费试用。

通过简化的堆栈安全保护你的数据免受未经授权的访问

适当的安全从来没有像今天这样重要。虽然安全功能多年来一直是免费的并内嵌在 Elastic Stack 中&＃xff0c;但我们仍旧进一步简化了配置安全所需的步骤——因为我们相信&＃xff0c;任何集群都不应该在没有保护的情况下运行。在 Elastic 8.0 中&＃xff0c;对于自我管理的集群&＃xff0c;现在默认启用安全功能。这确保了数据、网络和用户在 Elastic Stack 中的安全&＃xff0c;防止数据泄露和未经授权的访问。通过产品内的协助&＃xff0c;如自动生成的token和证书&＃xff0c;我们已经精简和简化了这一过程&＃xff0c;以节省时间和精力&＃xff0c;使所有人都能获得安全。

而且&＃xff0c;如果你已经在使用&＃xff08;或准备尝试&＃xff09;Elastic Cloud&＃xff0c;请放心&＃xff0c;安全和完全基于角色的访问控制始终是启用的。