ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES

作者： | 来源：互联网 | 2023-12-09 10:36

一、认识ElasticSearch是一个基于Lucene的开源搜索引擎，通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索，分析系统&#

一、认识ElasticSearch

是一个基于Lucene的开源搜索引擎&＃xff0c;通过简单的RESTful API来隐藏Lucene的复杂性。全文搜索&＃xff0c;分析系统&＃xff0c;分布式数据库&＃xff1b;elasticsearch的革命性就在于将这些单一的有用的技术整合成一个一体化的”实时的应用”。

二、ElasticSearch环境搭建

1.安装ElasticSearch

从官网下载&＃xff0c;https://www.elastic.co/downloads/elasticsearch&＃xff0c;选择自己想要的版本下载到本地&＃xff0c;然后解压&＃xff1b;

2.安装Kibana

从官网下载&＃xff0c;https://www.elastic.co/downloads/kibana&＃xff0c;这里选择和ElasticSearch一样的版本&＃xff0c;然后解压。

Kibana是一个为 ElasticSearch 提供数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

3.安装X-pack

是ElasticSearch的一个扩展包&＃xff0c;包括安全、警告、监视、图形、报告等功能集成在一个软件包&＃xff0c;方便我们操作ElasticSearch。

到ElasticSearch目录&＃xff0c;执行./bin/elasticsearch-plugin install x-pack&＃xff1b;到Kibana目录&＃xff0c;执行./bin/kibana-plugin install x-pack。

4.启动ElasticSearch和Kibana&＃43;访问

启动ElasticSearch&＃xff1a;ES目录执行./bin/elasticsearch&＃xff1b;

启动Kibana&＃xff1a;Kibana目录执行./bin/kibana

访问Kibana&＃xff1a;http://localhost:5601/

特别注意&＃xff1a;登录的默认用户名和密码分别是&＃xff1a;elastic和changeme 。

三、MySQL数据同步到ElasticSearch

自己在网上找了很多资料&＃xff0c;最后选择采用logstash-input-jdbc的方式进行MySQL数据到ES的同步&＃xff0c;已经做了一个初步的尝试&＃xff0c;感觉还不错。现在仅仅尝试了一次同步一个表的数据&＃xff0c;批量数据同步还需要研究。下面是我们进行数据同步的一些步骤&＃xff1a;

步骤一&＃xff1a;安装Ruby

因为logstash-input-jdbc是logstash的一个插件&＃xff0c;使用ruby开发。自己本地是在MacOS上&＃xff0c;安装方式&＃xff1a;ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"&＃xff1b;

步骤二&＃xff1a;安装logstash-input-jdbc

首先从官网下载logstash:https://www.elastic.co/downloads/logstash&＃xff0c;解压之后进入本地的logstash目录&＃xff0c;到bin目录下面执行命令&＃xff1a;./logstash-plugin install logstash-input-jdbc&＃xff0c;安装的过程需要花费一点时间&＃xff0c;静待一会儿&＃xff0c;耐心等待&＃xff0c;直到出现Installation successful。

步骤三&＃xff1a;使用logstash-input-jdbc

进入本地的logstash/bin目录&＃xff0c;创建mysql目录&＃xff0c;并添加jdbc.conf和jdbc.sql两个文件&＃xff0c;并且加入mysql驱动。下面贴出jdbc.conf和jdbc.sql文件的内容&＃xff0c;这里实现了同步MySQL中一个表的数据到ES。

jdbc.conf文件内容如下&＃xff1a;

input {

stdin {

}

jdbc {

# mysql 数据库链接,test为数据库名

jdbc_connection_string &＃61;> "jdbc:mysql://127.0.0.1:3306/test"

# 登录mysql数据库用户名和密码

jdbc_user &＃61;> "root"

jdbc_password &＃61;> "root"

# 驱动

jdbc_driver_library &＃61;> "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/mysql-connector-java-5.1.38.jar"

# 驱动类名

jdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"

jdbc_paging_enabled &＃61;> "true"

jdbc_page_size &＃61;> "50000"

# 执行的sql 文件路径&＃43;名称

statement_filepath &＃61;> "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/jdbc.sql"

# 设置监听间隔各字段含义&＃xff08;由左至右&＃xff09;分、时、天、月、年&＃xff0c;全部为*默认含义为每分钟都更新

#schedule &＃61;> "* * * * *"

# 索引类型

type &＃61;> "pattern"

}

filter {

json {

source &＃61;> "pattern"

}

output {

elasticsearch {

# ES的IP地址及端口

hosts &＃61;> ["localhost:9200"]

# 索引名称

index &＃61;> "test"

# 自增ID 需要关联的数据库中有有一个id字段&＃xff0c;对应索引的id号

document_id &＃61;> "%{id}"

}

stdout {

# JSON格式输出

codec &＃61;> json_lines

}

jdbc.sql文件内容如下&＃xff1a;

select * from 要同步的MySQL数据库中的表名

bin目录下执行命令&＃xff1a;.&＃xff0f;logstash -f .&＃xff0f;mysql&＃xff0f;jdbc.conf

四、Java HTTP REST API访问ElasticSearch

Java访问ES的两种方式&＃xff1a;第一种——通过TransportClient访问&＃xff1b;第二种——通过Jest访问。我们采用Jest(一个封装了对ES各种操作的轻量的框架)。

步骤一&＃xff1a;pom.xml中添加相关依赖

<groupId>io.searchboxgroupId>

<artifactId>jestartifactId>

<version>5.3.3version>

dependency>

<groupId>org.elasticsearchgroupId>

<artifactId>elasticsearchartifactId>

<version>5.5.1.0version>

dependency>

<groupId>org.apache.httpcomponentsgroupId>

<artifactId>httpcoreartifactId>

<version>4.4.7version>

dependency>

<groupId>org.apache.httpcomponentsgroupId>

<artifactId>httpclientartifactId>

<version>4.5.3version>

dependency>

<groupId>commons-logginggroupId>

<artifactId>commons-loggingartifactId>

<version>1.1.1version>

dependency>

步骤二&＃xff1a;准备工具类&＃xff0c;封装各种Jest操作ES的方法

package com.jhzz.jizhitong.common.util;

import java.util.List;

import com.google.gson.GsonBuilder;

import io.searchbox.client.JestClient;

import io.searchbox.client.JestClientFactory;

import io.searchbox.client.JestResult;

import io.searchbox.client.config.HttpClientConfig;

import io.searchbox.core.Bulk;

import io.searchbox.core.BulkResult;

import io.searchbox.core.Count;

import io.searchbox.core.CountResult;

import io.searchbox.core.Delete;

import io.searchbox.core.DocumentResult;

import io.searchbox.core.Get;

import io.searchbox.core.Index;

import io.searchbox.core.Search;

import io.searchbox.core.SearchResult;

import io.searchbox.indices.CreateIndex;

import io.searchbox.indices.DeleteIndex;

import io.searchbox.indices.mapping.GetMapping;

import io.searchbox.indices.mapping.PutMapping;

/**

* Jest操作ES工具类

* &＃64;author wuhoujian

public class JestUtil {

/**

* 获取JestClient对象

* &＃64;return

public static JestClient getJestClient() {

JestClientFactory factory &＃61; new JestClientFactory();

factory.setHttpClientConfig(new HttpClientConfig.Builder("http://127.0.0.1:9200")

.gson(new GsonBuilder().setDateFormat("yyyy-MM-dd&＃39;T&＃39;hh:mm:ss").create()).connTimeout(1500)

.readTimeout(3000).multiThreaded(true).build());

return factory.getObject();

}

/**

* 创建索引

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;return

* &＃64;throws Exception

public boolean createIndex(JestClient jestClient, String indexName) throws Exception {

JestResult jr &＃61; jestClient.execute(new CreateIndex.Builder(indexName).build());

return jr.isSucceeded();

}

/**

* Put映射

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param source

* &＃64;return

* &＃64;throws Exception

public boolean createIndexMapping(JestClient jestClient, String indexName, String typeName, String source)

throws Exception {

PutMapping putMapping &＃61; new PutMapping.Builder(indexName, typeName, source).build();

JestResult jr &＃61; jestClient.execute(putMapping);

return jr.isSucceeded();

}

/**

* Get映射

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;return

* &＃64;throws Exception

public String getIndexMapping(JestClient jestClient, String indexName, String typeName) throws Exception {

GetMapping getMapping &＃61; new GetMapping.Builder().addIndex(indexName).addType(typeName).build();

JestResult jr &＃61; jestClient.execute(getMapping);

return jr.getJsonString();

}

/**

* 索引文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param objs

* &＃64;return

* &＃64;throws Exception

public boolean index(JestClient jestClient, String indexName, String typeName, List objs) throws Exception {

Bulk.Builder bulk &＃61; new Bulk.Builder().defaultIndex(indexName).defaultType(typeName);

for (Object obj : objs) {

Index index &＃61; new Index.Builder(obj).build();

bulk.addAction(index);

}

BulkResult br &＃61; jestClient.execute(bulk.build());

return br.isSucceeded();

}

/**

* 搜索文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param query

* &＃64;return

* &＃64;throws Exception

public SearchResult search(JestClient jestClient, String indexName, String typeName, String query)

throws Exception {

Search search &＃61; new Search.Builder(query).addIndex(indexName).addType(typeName).build();

return jestClient.execute(search);

}

/**

* Count文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param query

* &＃64;return

* &＃64;throws Exception

public Double count(JestClient jestClient, String indexName, String typeName, String query) throws Exception {

Count count &＃61; new Count.Builder().addIndex(indexName).addType(typeName).query(query).build();

CountResult results &＃61; jestClient.execute(count);

return results.getCount();

}

/**

* Get文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param id

* &＃64;return

* &＃64;throws Exception

public static JestResult get(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

Get get &＃61; new Get.Builder(indexName, id).type(typeName).build();

return jestClient.execute(get);

}

/**

* Delete索引

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;return

* &＃64;throws Exception

public boolean delete(JestClient jestClient, String indexName) throws Exception {

JestResult jr &＃61; jestClient.execute(new DeleteIndex.Builder(indexName).build());

return jr.isSucceeded();

}

/**

* Delete文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param id

* &＃64;return

* &＃64;throws Exception

public boolean delete(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

DocumentResult dr &＃61; jestClient.execute(new Delete.Builder(id).index(indexName).type(typeName).build());

return dr.isSucceeded();

}

步骤三&＃xff1a;编码访问ES

JestResult jestResult &＃61; JestUtil.get(JestUtil.getJestClient(), "jizhitong", "pattern", "5");

System.out.println(jestResult.getSourceAsString());

推荐阅读

text
编写有趣的VBScript恶作剧脚本

本文将介绍如何编写一些有趣的VBScript脚本，这些脚本可以在朋友之间进行无害的恶作剧。通过简单的代码示例，帮助您了解VBScript的基本语法和功能。 ... [详细]

蜡笔小新 2024-12-28 09:46:23
io
网络链路质量监控：Smokeping部署与配置

本文详细介绍了如何在Linux系统上安装和配置Smokeping，以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装，确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]

蜡笔小新 2024-12-27 19:31:05
io
Java面试题解析

本文详细介绍了Java编程语言中的核心概念和常见面试问题，包括集合类、数据结构、线程处理、Java虚拟机（JVM）、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题，帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]

蜡笔小新 2024-12-27 13:55:14
shell
使用Vultr云服务器和Namesilo域名搭建个人网站

本文详细介绍了如何通过Vultr云服务器和Namesilo域名搭建一个功能齐全的个人网站，包括购买、配置服务器以及绑定域名的具体步骤。文章还提供了详细的命令行操作指南，帮助读者顺利完成建站过程。 ... [详细]

蜡笔小新 2024-12-26 16:36:34
python
使用Python在SAE上开发新浪微博应用的初步探索

最近重新审视了新浪云平台（SAE）提供的服务，发现其已支持Python开发。本文将详细介绍如何利用Django框架构建一个简单的新浪微博应用，并分享开发过程中的关键步骤。 ... [详细]

蜡笔小新 2024-12-26 13:36:52
python
PHP Eloquent ORM 中的关联查询扩展

本文探讨了如何在 PHP 的 Eloquent ORM 中实现数据表之间的关联查询，并通过具体示例详细解释了如何将关联数据嵌入到查询结果中。这不仅提高了数据查询的效率，还简化了代码逻辑。 ... [详细]

蜡笔小新 2024-12-25 18:14:14
io
深入探讨DB2数据库性能优化策略

本文详细介绍了IBM DB2数据库在大型应用系统中的应用，强调其卓越的可扩展性和多环境支持能力。文章深入分析了DB2在数据利用性、完整性、安全性和恢复性方面的优势，并提供了优化建议以提升其在不同规模应用程序中的表现。 ... [详细]

蜡笔小新 2024-12-28 13:22:19
web
技术分享：从动态网站提取站点密钥的解决方案

本文探讨了如何从动态网站中提取站点密钥，特别是针对验证码（reCAPTCHA）的处理方法。通过结合Selenium和requests库，提供了详细的代码示例和优化建议。 ... [详细]

蜡笔小新 2024-12-28 04:11:47
timezone
PHP 5.2.5 安装与配置指南

本文详细介绍了 PHP 5.2.5 的安装和配置步骤，帮助开发者解决常见的环境配置问题，特别是上传图片时遇到的错误。通过本教程，您可以顺利搭建并优化 PHP 运行环境。 ... [详细]

蜡笔小新 2024-12-27 19:05:41
request
使用 Azure Service Principal 和 Microsoft Graph API 获取 AAD 用户列表

本文介绍了一段通用代码示例，该代码不仅能够操作 Azure Active Directory (AAD)，还可以通过 Azure Service Principal 的授权访问和管理 Azure 订阅资源。Azure 的架构可以分为两个层级：AAD 和 Subscription。 ... [详细]

蜡笔小新 2024-12-27 16:07:12
hook
如何配置Unturned服务器及其消息设置

本文详细介绍了Unturned服务器的配置方法和消息设置技巧，帮助用户了解并优化服务器管理。同时，提供了关于云服务资源操作记录、远程登录设置以及文件传输的相关补充信息。 ... [详细]

蜡笔小新 2024-12-27 13:47:38
stream
360SRC安全应急响应：从漏洞提交到修复的全过程

本文详细介绍了360SRC平台处理一起关键安全事件的过程，涵盖从漏洞提交、验证、排查到最终修复的各个环节。通过这一案例，展示了360在安全应急响应方面的专业能力和严谨态度。 ... [详细]

蜡笔小新 2024-12-27 11:10:05
python
离线环境下的Python及其第三方库安装指南

在项目开发中，有时会遇到电脑只能连接内网或完全无法联网的情况。本文将详细介绍如何在这种环境下安装Python及其所需的第三方库，确保开发工作的顺利进行。 ... [详细]

蜡笔小新 2024-12-26 19:51:48
io
Hadoop入门与核心组件详解

本文详细介绍了Hadoop的基础知识及其核心组件，包括HDFS、MapReduce和YARN。通过本文，读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]

蜡笔小新 2024-12-26 13:12:48
io
使用JPA Criteria API构建动态查询条件

本文介绍如何使用JPA Criteria API创建带有多个可选参数的动态查询方法。当某些参数为空时，这些参数不会影响最终查询结果。 ... [详细]

蜡笔小新 2024-12-26 09:26:16

Tags | 热门标签

RankList | 热门文章