【Elasticsearch入门篇笔记】Elasticsearch核心概念：NRT、索引、分片、副本等

Elasticsearch 核心概念

[[toc]]

1. lucene 和 elasticsearch 的前世今生
2. elasticsearch 的核心概念
3. elasticsearch 核心概念 vs 数据库核心概念

lucene 和 elasticsearch 的前世今生

lucene&＃xff0c;最先进、功能最强大的搜索库&＃xff1b;直接基于 lucene 开发&＃xff0c;非常复杂&＃xff0c;api 复杂&＃xff08;实现一些简单的功能&＃xff0c;写大量的 java 代码&＃xff09;&＃xff0c;需要深入理解原理&＃xff08;各种索引结构&＃xff09;

elasticsearch 基于 lucene&＃xff0c;隐藏复杂性&＃xff0c;提供简单易用的 restful api 接口、java api 接口&＃xff08;还有其他语言的api接口&＃xff09;

1. 分布式的文档存储引擎
2. 分布式的搜索引擎和分析引擎
3. 分布式&＃xff0c;支持PB级数据

开箱即用&＃xff0c;优秀的默认参数&＃xff0c;不需要任何额外设置&＃xff0c;完全开源

关于 elasticsearch 的一个传说&＃xff0c;有一个程序员失业了&＃xff0c;陪着自己老婆去英国伦敦学习厨师课程。程序员在失业期间想给老婆写一个菜谱搜索引擎&＃xff0c;觉得 lucene 实在太复杂了&＃xff0c;就开发了一个封装了 lucene 的开源项目 compass。后来程序员找到了工作&＃xff0c;是做分布式的高性能项目的&＃xff0c;觉得 compass 不够&＃xff0c;就写了 elasticsearch&＃xff0c;让 lucene 变成分布式的系统。

elasticsearch 的核心概念

1. Near Realtime&＃xff08;NRT&＃xff09;近实时

   两个意思&＃xff1a;

   从写入数据到数据可以被搜索到有一个小延迟&＃xff08;大概1秒&＃xff09;&＃xff1b;

   基于es执行搜索和分析可以达到秒级

   

2. Cluster 集群

   包含多个节点&＃xff0c;每个节点属于哪个集群是通过一个配置&＃xff08;集群名称&＃xff0c;默认是 elasticsearch &＃xff09;来决定的&＃xff0c;对于中小型应用来说&＃xff0c;刚开始一个集群就一个节点很正常

3. Node 节点

   集群中的一个节点&＃xff0c;节点也有一个名称&＃xff08;默认是随机分配的&＃xff09;&＃xff0c;节点名称很重要&＃xff08;在执行运维管理操作的时候&＃xff09;&＃xff0c;默认节点会去加入一个名称为 “elasticsearch” 的集群&＃xff0c;如果直接启动一堆节点&＃xff0c;那么它们会自动组成一个 elasticsearch 集群&＃xff0c;当然一个节点也可以组成一个 elasticsearch 集群

4. Document&field 文档

   es中的最小数据单元&＃xff0c;一个 document 可以是一条客户数据&＃xff0c;一条商品分类数据&＃xff0c;一条订单数据&＃xff0c;通常用 JSON 数据结构表示

   一个 index 下的 type 中&＃xff0c;都可以去存储多个 document。

   一个 document 里面有多个 field&＃xff0c;每个field就是一个数据字段。

   product document{"product_id": "1","product_name": "高露洁牙膏","product_desc": "高效美白","category_id": "2","category_name": "日化用品"
}


5. Index 索引

   包含一堆有相似结构的文档数据&＃xff0c;比如可以有一个客户索引&＃xff0c;商品分类索引&＃xff0c;订单索引&＃xff0c;索引有一个名称。

   一个 index 包含很多 document&＃xff0c;一个 index 就代表了一类类似的或者相同的 document。比如说建立一个 product index&＃xff0c;商品索引&＃xff0c;里面可能就存放了所有的商品数据&＃xff0c;所有的商品 document。

6. Type 类型

   每个索引里都可以有一个或多个 type&＃xff0c;type 是 index 中的一个逻辑数据分类&＃xff0c;一个 type 下的 document&＃xff0c;都有相同的 field&＃xff0c;比如博客系统&＃xff0c;有一个索引&＃xff0c;可以定义用户数据 type&＃xff0c;博客数据 type&＃xff0c;评论数据 type。

   商品index&＃xff0c;里面存放了所有的商品数据&＃xff0c;商品 document

   但是商品分很多种类&＃xff0c;每个种类的 document 的 field 可能不太一样&＃xff0c;比如说电器商品&＃xff0c;可能还包含一些诸如售后时间范围这样的特殊 field&＃xff1b;生鲜商品&＃xff0c;还包含一些诸如生鲜保质期之类的特殊 field

   type&＃xff0c;日化商品 type&＃xff0c;电器商品 type&＃xff0c;生鲜商品 type

   日化商品 type&＃xff1a;product_id&＃xff0c;product_name&＃xff0c;product_desc&＃xff0c;category_id&＃xff0c;category_name

   电器商品 type&＃xff1a;product_id&＃xff0c;product_name&＃xff0c;product_desc&＃xff0c;category_id&＃xff0c;category_name&＃xff0c;service_period

   生鲜商品 type&＃xff1a;product_id&＃xff0c;product_name&＃xff0c;product_desc&＃xff0c;category_id&＃xff0c;category_name&＃xff0c;eat_period

   每一个 type 里面&＃xff0c;都会包含一堆 document

   {"product_id": "2","product_name": "长虹电视机","product_desc": "4k高清","category_id": "3","category_name": "电器","service_period": "1年"
}{"product_id": "3","product_name": "基围虾","product_desc": "纯天然&＃xff0c;冰岛产","category_id": "4","category_name": "生鲜","eat_period": "7天"
}


   • index &＃xff1a;可以看成是一个数据库
   • type &＃xff1a;可以看成是数据库中的表
   • document&＃xff1a;可以看成是表中的记录

7. shard 分片

   单台机器无法存储大量数据&＃xff0c;es 可以将一个索引中的数据切分为多个 shard&＃xff0c;分布在多台服务器上存储。有了 shard 就可以横向扩展&＃xff0c;存储更多数据&＃xff0c;让搜索和分析等操作分布到多台服务器上去执行&＃xff0c;提升吞吐量和性能。每个 shard 都是一个 lucene index。

8. replica 复制集/副本

   任何一个服务器随时可能故障或宕机&＃xff0c;此时 shard 可能就会丢失&＃xff0c;因此可以为每个 shard 创建多个 replica副本。replica 可以在 shard 故障时提供备用服务&＃xff0c;保证数据不丢失&＃xff0c;多个 replica 还可以提升搜索操作的吞吐量和性能。

   • primary shard&＃xff08;建立索引时一次设置&＃xff0c;不能修改&＃xff0c;默认5个&＃xff09;
   • replica shard&＃xff08;随时修改数量&＃xff0c;默认1个&＃xff09;

   默认每个索引 10 个 shard&＃xff0c;5个 primary shard&＃xff0c;5个 replica shard&＃xff0c;最小的高可用配置&＃xff0c;是 2台 服务器。

核心概念 vs 数据库核心概念

GIHUB&＃xff1a;https://github.com/zq99299/note-book/blob/master/docs/elasticsearch-core/index.md