Elasticsearch之数据建模

数据建模

• 英文为 Data Modeling&＃xff0c; 为创建数据模型的过程
• 数据模型&＃xff08;Data Model&＃xff09;
  - 对现实世界进行抽象描述的一种工具和方法
  - 通过抽象的实体及实体之间联系的形式去描述业务规则&＃xff0c;从而实现对现实世界的映射

数据建模的过程

• 概念模型
  - 确定系统的核心需求和范围边界&＃xff0c;设计实体和实体间的关系
• 逻辑模型
  - 进一步梳理业务需求&＃xff0c;确定每个实体的属性、关系和约束等
• 物理模型
  - 结合具体的数据库产品&＃xff0c;在满足业务读写性能需求的前提下确定最终的定义
  - Mysql、MongoDB、elasticsearch等
  - 第三范式

数据建模的意义

ES中的数据建模

• ES 是基于 Lucene 以倒排索引为基础实现的存储体系&＃xff0c;不遵循关系型数据库中的范式预定
  

Mapping 字段的相关设置

enbaled

• true | false
• 仅存储&＃xff0c;不做搜索或聚合分析

index

• true | false
• 是否构建倒排索引

index_option

• docs | freqs | positions | offsets
• 存储倒排索引的那些信息

norms

• true| false
• 是否存储归一化相关参数&＃xff0c;如果字段仅用于过滤和聚合分析&＃xff0c;可关闭

doc_values

• true| false
• 是否启用 doc_values,用于排序和集合分析

field_data

• true| false
• 是否为text类型启用 fielddata&＃xff0c;实现排序和聚合分析

store

• true| false
• 是否存储该字段

coerce

• true| false
• 是否开启自动数据类型转化&＃xff0c;比如字符串转为数字、浮点转为整型等

multifields 多字段

• 灵活使用多字段特性来解决多样的业务需求

dynamic

• true| false | strict
• 控制 mapping 自动更新

date_datection

• true| false
• 是否自动识别日期类型

Mapping 字段属性的设定流程

是何种类型

字符串类型

• 需要分词则设定为 text 类型&＃xff0c; 否则设置为 keyword 类型

枚举类型

• 基于性能考虑将其设定为 keyword 类型&＃xff0c;即便该数据为整型

数值类型

• 尽量选择贴近的类型&＃xff0c;比如byte即可表示所有数值是&＃xff0c;即选用 byte &＃xff0c;不要用 long

其他类型

• 比如布尔类型、日期、地理位置数据等

是否需要索引

• 完全不需要检索、排序、聚合分析的字段
  - enable 设置为false
• 不需要检索的字段
  - index 设置为 false
• 需要检索的字段&＃xff0c;可以通过如下配置设定需要的存储粒度
  - index_options 结合需要设定
  - norms 不需要归一化数据是关闭即可

不需要排序或者聚合分析功能

• doc_values 设定为 false
• fielddata 设定为 false

是否需要另行存储&＃xff1f;

• 是否需要专门存储当前字段的数据&＃xff1f;
  - store 设定为 true&＃xff0c;即可存储该字段的原始内容&＃xff08;与_source 中的不相关&＃xff09;
  - 一般结合_source的enabled 设定为false

实例

博客文章 blog_index

• 标题 title
• 发布日期 publish_date
• 作者 author
• 摘要 abstract
• 网络地址 url

blog_index 的 mapping 设置如下&＃xff1a;

博客文章 blog_index

• 标题 title
• 发布日期 publish_date
• 作者 author
• 摘要 abstract
• 内容 content ## 加入一个大字段如何设置mapping
• 网络地址 url

• blog_index 的 mapping 设置如下
  

用 _source&＃61; … 也可过滤&＃xff0c;但他只在coordinating 节点做过滤&＃xff0c;各个节点返回coordinating 节点的 _source 还是一样的内容。

实例

关联关系处理

• ES 不擅长处理关系型数据库中的关联关系&＃xff0c;比如文章表 blog 与评论表 comment之间通过 blog_id 关联&＃xff0c;在 ES 中可以通过如下两种手段相解决
  - Nested Object
  - Parent/Child
• 评论 Comment
  - 文章 Id blog_id
  - 评论人 username
  - 评论 日期 date
  - 评论内容 content
  

关联关系处理之 Nested Object

• Comments 默认是 Object Array&＃xff0c;存储结构类似下面的形式&＃xff1a;
  
• Nested Object 可以解决这个问题
  

关联关系处理之 Parent/Child

• ES 还挺了类似关系数据库中 join 的实现方式&＃xff0c;使用join数据类型实现

创建关系文档

查询关联语法

• 常见 query语法包括如下几种
  - parent_id&＃xff1a; 返回某父文档的子文档 &＃xff08;父文档 id 为2 的子文档&＃xff09;
  - has_child 返回包含某子文档的父文档&＃xff08;评论包含 world 的父文档&＃xff09;
  - has_parent 返回包含某父文档的子文档&＃xff08;标题为 ‘blog’ 的子文档&＃xff09;
  

Nested Object vs Parent/Child

建议尽量选择 Nested Object 来解决问题

Reindex

• 指重建所有数据的过程&＃xff0c;一般发生在如下情况&＃xff1a;
  - mapping 设置变更&＃xff0c;比如字段类型变化、分词器字典更新等
  - index 设置变更&＃xff0c;比如分片数更改等
  - 迁移数据
• ES 提供了现成的API 用于完成该工作
  - _update_by_query 在现有索引上重建
  - _reindex 在其他索引上重建

Reindex - _update_by_query

将 blog_index 的所有文档重建一遍&＃xff1b;conflicts&＃61;proceed 覆盖之后来的更新

Reindex - _reindex

将 blog_index 重建到 blog_new_index 中

query -> 迁移部分文档

Reindex -Task

• 数据重建的时间受索引文档规模的影响&＃xff0c;当规模越大&＃xff0c;所系时间越多&＃xff0c;此时需要通过设定url 参数 wait_for_completion 为false 来异步执行&＃xff0c;ES以 task 来描述此类执行任务
• ES 提供了 Task API 来查看任务的执行进度和相关数据