热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Elasticsearch字段类型修改策略

在Elasticsearch中,映射(mappings)定义了索引中字段的结构,类似于传统数据库中的表结构。虽然Elasticsearch支持字段的增删,但直接修改字段类型是不允许的。本文介绍了一种通过创建新索引并迁移数据的方式来改变字段类型的方法。

在Elasticsearch中,映射(mappings)的作用类似于数据库中的表结构设计,允许在使用过程中添加或移除字段。但是,Elasticsearch并不支持直接修改现有字段的数据类型。为了应对这种需求,可以通过创建一个新的索引,并将原有索引的数据迁移到新索引中,同时更新字段类型来间接实现这一目标。以下是具体步骤:



  1. 创建一个具有所需字段类型的新索引。

  2. 使用_reindex API将原始索引的数据迁移到新索引。

  3. 安全地删除原始索引。

  4. 为新索引设置一个与原索引相同的别名,以便无缝切换。


下面以一个具体的例子来说明这个过程:


假设我们有一个名为my-index-order-1的索引,包含两个字段:


  • createTime:订单创建时间,类型为long

  • orderNo:订单编号,类型为text


现在需要将createTime字段的类型从long改为date。


PUT /my-index-order-1?pretty
{
"mappings": {
"properties": {
"createTime": {
"type": "long"
},
"orderNo": {
"type": "text"
}
}
}
}

向该索引中插入几条示例数据:


PUT /my-index-order-1/_doc/1?pretty
{
"createTime": 1637992973517,
"orderNo": "7d7d5495-4db9-4513-a2c9-c5fb0454517e"
}
PUT /my-index-order-1/_doc/2?pretty
{
"createTime": 1637993092000,
"orderNo": "fb337ede-6e1d-4422-8e2b-453148064bba"
}
PUT /my-index-order-1/_doc/3?pretty
{
"createTime": 1640585092000,
"orderNo": "54ccb3a9-c168-487e-8594-893a2b7803bf"
}

步骤 1: 创建新索引


PUT /my-index-order-2?pretty
{
"mappings": {
"properties": {
"createTime": {
"type": "date"
},
"orderNo": {
"type": "text"
}
}
}
}

步骤 2: 数据迁移


_reindex API用于在两个索引间复制数据。如果两个索引的映射不同,只有兼容的数据会被复制。对于大量数据的迁移,_reindex请求可能会超时,但这不影响后台继续处理。可以使用GET _tasks?detailed=true&actiOns=*reindex查看任务状态,或者用GET _tasks/taskId:number查询特定任务的详细信息。


POST _reindex
{
"source": {
"index": "my-index-order-1"
},
"dest": {
"index": "my-index-order-2"
}
}

步骤 3: 删除旧索引


确认新索引已成功接收所有数据后,可以安全地删除旧索引。


DELETE /my-index-order-1/

步骤 4: 设置别名


为新索引设置与旧索引相同的别名,确保应用程序可以继续使用原来的索引名称进行操作。


POST _aliases
{
"actions":[
{
"add":{
"index":"my-index-order-2",
"alias":"my-index-order-1"
}
}
]
}

完成上述步骤后,就可以对新的日期字段执行时间相关的聚合查询了。例如,统计每月的订单数量:


GET /my-index-order-2/_search?pretty
{
"size": 0,
"aggs": {
"orderCount": {
"date_histogram": {
"field": "createTime",
"calendar_interval": "1M",
"format": "yyyy-MM"
}
}
}
}

查询结果示例:


{
"took": 27,
"timed_out": false,
"_shards": {
...
},
"hits": {
...
},
"aggregations": {
"orderCount": {
"buckets": [
{
"key_as_string": "2021-11",
"key": 1635724800000,
"doc_count": 2
},
{
"key_as_string": "2021-12",
"key": 1638316800000,
"doc_count": 1
}
]
}
}
}

本示例基于Elasticsearch版本7.15.2和Kibana版本7.15.2。更多关于Elasticsearch的信息,请访问官方文档:Elastic官网


推荐阅读
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • PHP 5.2.5 安装与配置指南
    本文详细介绍了 PHP 5.2.5 的安装和配置步骤,帮助开发者解决常见的环境配置问题,特别是上传图片时遇到的错误。通过本教程,您可以顺利搭建并优化 PHP 运行环境。 ... [详细]
  • 深入理解Cookie与Session会话管理
    本文详细介绍了如何通过HTTP响应和请求处理浏览器的Cookie信息,以及如何创建、设置和管理Cookie。同时探讨了会话跟踪技术中的Session机制,解释其原理及应用场景。 ... [详细]
  • QUIC协议:快速UDP互联网连接
    QUIC(Quick UDP Internet Connections)是谷歌开发的一种旨在提高网络性能和安全性的传输层协议。它基于UDP,并结合了TLS级别的安全性,提供了更高效、更可靠的互联网通信方式。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • Explore a common issue encountered when implementing an OAuth 1.0a API, specifically the inability to encode null objects and how to resolve it. ... [详细]
  • 技术分享:从动态网站提取站点密钥的解决方案
    本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]
  • Java 中的 BigDecimal pow()方法,示例 ... [详细]
  • Windows服务与数据库交互问题解析
    本文探讨了在Windows 10(64位)环境下开发的Windows服务,旨在定期向本地MS SQL Server (v.11)插入记录。尽管服务已成功安装并运行,但记录并未正确插入。我们将详细分析可能的原因及解决方案。 ... [详细]
  • SQL中UPDATE SET FROM语句的使用方法及应用场景
    本文详细介绍了SQL中UPDATE SET FROM语句的使用方法,通过具体示例展示了如何利用该语句高效地更新多表关联数据。适合数据库管理员和开发人员参考。 ... [详细]
  • 深入理解 Oracle 存储函数:计算员工年收入
    本文介绍如何使用 Oracle 存储函数查询特定员工的年收入。我们将详细解释存储函数的创建过程,并提供完整的代码示例。 ... [详细]
  • Java 中 Writer flush()方法,示例 ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 构建基于BERT的中文NL2SQL模型:一个简明的基准
    本文探讨了将自然语言转换为SQL语句(NL2SQL)的任务,这是人工智能领域中一项非常实用的研究方向。文章介绍了笔者在公司举办的首届中文NL2SQL挑战赛中的实践,该比赛提供了金融和通用领域的表格数据,并标注了对应的自然语言与SQL语句对,旨在训练准确的NL2SQL模型。 ... [详细]
author-avatar
acChristina
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有