ElasticSearch学习笔记（1）·ES基本概念

一、什么是全文检索

​ 全文检索是计算机程序通过扫描文章中的每一个词&＃xff0c;对每一个词建立一个索引&＃xff0c;指明该词在文章中出现的次数和位置&＃xff0c;当用户查询时根据建立的索引查找&＃xff0c;类似于通过字典的检索字表查字的过程。

​ 全文检索&＃xff08;Full-Text Retrieval(检索)以文本作为检索对象&＃xff0c;找出含有指定词汇的文本。全面&＃xff0c;准确和快速时衡量全文检索系统的关键指标。

关于全文检索&＃xff0c;我们要知道

​ 1、只处理文本。

​ 2、不处理语意。

​ 3、搜索时英文不区分大小写。

​ 4、结果列表由相关度排序。

二、什么是ElasticcSearch

​ ElasticSearch简称ES&＃xff0c;是基于Apache Lucene构建的开源搜索引擎&＃xff0c;是当时流行的企业级搜索引擎。Lucene本身就可以被认为迄今为止性能最好的一款开源搜索引擎工具包&＃xff0c;但是Lucene的API相对复杂&＃xff0c;需要身后的搜索理论&＃xff0c;很难集成到实际的应用中去&＃xff0c;同时ES是采用java语言编写&＃xff0c;提供了简单易用的RestFul API&＃xff0c;开发者可以使用其简单的RestFul API&＃xff0c;开发相关的搜索功能&＃xff0c;从而避免Lucene的复杂性。

三、ES的应用场景JSON格式数据

​ ES主要以轻量级JSON作为数据存储格式&＃xff0c;这点与MongoDB有点类似&＃xff0c;但它在读写性能上优于MongoDB&＃xff0c;同时也支持地理位置查询&＃xff0c;还方便地理位置和文本混合查询&＃xff0c;以及在统计、日志类数据存储和分析、可视化这方面是引领者。

国外&＃xff1a;

​ Wikipedia&＃xff08;维基百科&＃xff09;使用ES提供全文搜索并高亮关键字&＃xff0c;StackOverFlow结合全文搜索与地理位置查询&＃xff0c;Github使用ES检索1300亿行的代码。

国内&＃xff1a;

​ 百度&＃xff08;在云分析、网盟、预测、文案、钱包、风控等业务上都应用了ES&＃xff0c;单集群每天导入30TB&＃43;数据&＃xff0c;总共每天60TB&＃43;&＃xff09;、新浪、阿里巴巴、腾讯等公司均有对ES的使用。

使用比较广泛的平台ELS&＃xff08;ElasticSearch、LogStash、Kibana&＃xff09;

四、ES的安装

# 1、安装前准备centos7 java8elasticsearch6.2.4# 2、在官方网站下载ESwget https://artifacts.elastic.io/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz# 3、配置环境变量vim /etc/profile#在文件末尾加入export JAVA_HOME&＃61;/usr/java/jdk1.8.0_171-amd64export PATH&＃61;$PATH:$JAVA_HOME/bin# 4、重载系统配置source /etc/profile# 5、创建普通用户&＃xff08;es不能作为root用户启动&＃xff09;# a、在linux系统中创建新的组groupadd es# b、创建新的用户es并将es用户方入es组中useradd es -g es# 6、上传es到普通用户的家目录&＃xff0c;并安装elasticsearchtar -zxvf elasticsearch-6.4.1.tar.gz# 7、elasticsearch的目录结构# bin 可执行的二进制文件的目录# config 配置文件的目录# lib 运行文件的目录# logs modules 运行时日志文件# plugins es中提供的插件# 8、运行es服务#在bin目录中执行./elasticsearch# 9、测试ES是否启动成功#在命令中断中执行,curl http://localhost:9200# 10、开启ES远程访问vim elasticsearch.yml #将原来network修改为以下配置&＃xff1a;network.host: 0.0.0.0# 11、启动时错误解决方案### a、重新启动es出现如下错误**ERROR&＃xff1a;bootstrap checks failed[1]: max file descriptors [4096] for elasticsearch process is too low.increase to at least [65526]**# 解决方案# 切换到root用户修改vim /etc/security/limits.conf# 在最后面追加如下内容* soft nofile 65536* hard nofile 65536* soft nproc 4096* hard nproc 4096#退出重新登入检测配置是否生效ulimit -Hnulimit -Snulimit -Huulimit -Su###b、重新启动出现如下错误**ERROR&＃xff1a;max number of threads [3802] for user [admin] is too low,increase to at least [4096]**#解决方案&＃xff1a;#进入limits.d目录下修改配置文件vim /etc/security/limits.d/20-nproc.conf#修改为启动ES用户名soft nproc 4096###c、重新启动出现如下错误**ERROR&＃xff1a;max virtual memory areas vm.max_map_count [65530] is woo low,increase to at least [262144]**#解决方案&＃xff1a;vim /etc/sysctl.confvm.max_map_count&＃61;655360#执行以下命令生效&＃xff1a;sysctl -p


五、ES中基本概念

1、接近实时&＃xff08;Near Real Time简称NRT&＃xff09;

Elasticsearch时一个接近实时的搜索平台&＃xff0c;这意味着&＃xff0c;从索引一个文档直到这个文档能够被搜索到有一个请问的延迟&＃xff08;通常时1秒内&＃xff09;

2、索引&＃xff08;index&＃xff09;

一个索引就是一个拥有几分相似特征的文档的集合&＃xff0c;比如说&＃xff0c;你可以有一个客户数据的索引&＃xff0c;另外一个产品目录的索引&＃xff0c;还有一个订单数量的索引&＃xff0c;一个索引由一个名字来标识&＃xff08;必须全部是小写字母的&＃xff09;&＃xff0c;并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候&＃xff0c;都要使用到这个名字。索引类似于关系型数据库中Database的概念&＃xff0c;在一个集群中&＃xff0c;如果你想&＃xff0c;可以定义任意多的索引。

3、类型&＃xff08;Type&＃xff09;

一个类型是你的索引的一个逻辑上的分类/分区&＃xff0c;其语意完全由你来定。在一个索引中&＃xff0c;你可以定义一种或多种类型&＃xff0c;通常&＃xff0c;会为具有一组共同字段的文档定义一个类型。比如说&＃xff0c;我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中&＃xff0c;你可以为用户数据定义一个类型&＃xff0c;为boke数据定义另一个类型&＃xff0c;当然&＃xff0c;也可以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。

NOTE&＃xff1a;在5.x版本以前可以在一个索引中定义多个类型&＃xff0c;6.x之后版本也可以使用&＃xff0c;但是不推荐&＃xff0c;在8.x版本中彻底移除一个索引中创建多个类型

4、映射&＃xff08;Mapping&＃xff09;

Mapping是ES中的一个很重要的内容&＃xff0c;**它类似于传统关系型数据库中table的schema&＃xff0c;用于定义一个索引&＃xff08;index&＃xff09;中的类型&＃xff08;type&＃xff09;的数据的结构&＃xff0c;**在ES中&＃xff0c;我们可以手动创建type&＃xff08;相当于table&＃xff09;和mapping&＃xff08;相当于schema&＃xff09;&＃xff0c;也可以采用默认创建模式&＃xff0c;在默认配置下&＃xff0c;ES可以根据插入的数据自动创建type及其mapping。mapping中主要包括字段名&＃xff0c;字段数据类型和字段索引类型

5、文档&＃xff08;document&＃xff09;

一个文档是一个可被索引的基础信息单元&＃xff0c;类似于表中的一条记录。比如&＃xff0c;你可以拥有某一个员工的文档&＃xff0c;也可以拥有某个商品的一个文档。文档以采用了轻量级的数据交换格式JSON来表示

ElasticSearch学习笔记&＃xff08;1&＃xff09;· ES基本概念
ElasticSearch学习笔记&＃xff08;2&＃xff09;· 基于Kibana的基本CRUD
ElasticSearch学习笔记&＃xff08;3&＃xff09;· ES高级检索&＃xff08;query&＃xff09;
ElasticSearch学习笔记&＃xff08;4&＃xff09;· ES IK分词器
ElasticSearch学习笔记&＃xff08;5&＃xff09;· Java操作Elasticsearch6.2.4
ElasticSearch学习笔记&＃xff08;6&＃xff09;· Java操作Elasticsearch7.6.1
ElasticSearch学习笔记&＃xff08;7&＃xff09;· Springboot&＃43;SpringData操作ES
ElasticSearch学习笔记&＃xff08;8&＃xff09;· ES集群的搭建