ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES

作者： | 来源：互联网 | 2023-12-09 10:36

一、认识ElasticSearch是一个基于Lucene的开源搜索引擎，通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索，分析系统&#

一、认识ElasticSearch

是一个基于Lucene的开源搜索引擎&＃xff0c;通过简单的RESTful API来隐藏Lucene的复杂性。全文搜索&＃xff0c;分析系统&＃xff0c;分布式数据库&＃xff1b;elasticsearch的革命性就在于将这些单一的有用的技术整合成一个一体化的”实时的应用”。

二、ElasticSearch环境搭建

1.安装ElasticSearch

从官网下载&＃xff0c;https://www.elastic.co/downloads/elasticsearch&＃xff0c;选择自己想要的版本下载到本地&＃xff0c;然后解压&＃xff1b;

2.安装Kibana

从官网下载&＃xff0c;https://www.elastic.co/downloads/kibana&＃xff0c;这里选择和ElasticSearch一样的版本&＃xff0c;然后解压。

Kibana是一个为 ElasticSearch 提供数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

3.安装X-pack

是ElasticSearch的一个扩展包&＃xff0c;包括安全、警告、监视、图形、报告等功能集成在一个软件包&＃xff0c;方便我们操作ElasticSearch。

到ElasticSearch目录&＃xff0c;执行./bin/elasticsearch-plugin install x-pack&＃xff1b;到Kibana目录&＃xff0c;执行./bin/kibana-plugin install x-pack。

4.启动ElasticSearch和Kibana&＃43;访问

启动ElasticSearch&＃xff1a;ES目录执行./bin/elasticsearch&＃xff1b;

启动Kibana&＃xff1a;Kibana目录执行./bin/kibana

访问Kibana&＃xff1a;http://localhost:5601/

特别注意&＃xff1a;登录的默认用户名和密码分别是&＃xff1a;elastic和changeme 。

三、MySQL数据同步到ElasticSearch

自己在网上找了很多资料&＃xff0c;最后选择采用logstash-input-jdbc的方式进行MySQL数据到ES的同步&＃xff0c;已经做了一个初步的尝试&＃xff0c;感觉还不错。现在仅仅尝试了一次同步一个表的数据&＃xff0c;批量数据同步还需要研究。下面是我们进行数据同步的一些步骤&＃xff1a;

步骤一&＃xff1a;安装Ruby

因为logstash-input-jdbc是logstash的一个插件&＃xff0c;使用ruby开发。自己本地是在MacOS上&＃xff0c;安装方式&＃xff1a;ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"&＃xff1b;

步骤二&＃xff1a;安装logstash-input-jdbc

首先从官网下载logstash:https://www.elastic.co/downloads/logstash&＃xff0c;解压之后进入本地的logstash目录&＃xff0c;到bin目录下面执行命令&＃xff1a;./logstash-plugin install logstash-input-jdbc&＃xff0c;安装的过程需要花费一点时间&＃xff0c;静待一会儿&＃xff0c;耐心等待&＃xff0c;直到出现Installation successful。

步骤三&＃xff1a;使用logstash-input-jdbc

进入本地的logstash/bin目录&＃xff0c;创建mysql目录&＃xff0c;并添加jdbc.conf和jdbc.sql两个文件&＃xff0c;并且加入mysql驱动。下面贴出jdbc.conf和jdbc.sql文件的内容&＃xff0c;这里实现了同步MySQL中一个表的数据到ES。

jdbc.conf文件内容如下&＃xff1a;

input {

stdin {

}

jdbc {

# mysql 数据库链接,test为数据库名

jdbc_connection_string &＃61;> "jdbc:mysql://127.0.0.1:3306/test"

# 登录mysql数据库用户名和密码

jdbc_user &＃61;> "root"

jdbc_password &＃61;> "root"

# 驱动

jdbc_driver_library &＃61;> "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/mysql-connector-java-5.1.38.jar"

# 驱动类名

jdbc_driver_class &＃61;> "com.mysql.jdbc.Driver"

jdbc_paging_enabled &＃61;> "true"

jdbc_page_size &＃61;> "50000"

# 执行的sql 文件路径&＃43;名称

statement_filepath &＃61;> "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/jdbc.sql"

# 设置监听间隔各字段含义&＃xff08;由左至右&＃xff09;分、时、天、月、年&＃xff0c;全部为*默认含义为每分钟都更新

#schedule &＃61;> "* * * * *"

# 索引类型

type &＃61;> "pattern"

}

filter {

json {

source &＃61;> "pattern"

}

output {

elasticsearch {

# ES的IP地址及端口

hosts &＃61;> ["localhost:9200"]

# 索引名称

index &＃61;> "test"

# 自增ID 需要关联的数据库中有有一个id字段&＃xff0c;对应索引的id号

document_id &＃61;> "%{id}"

}

stdout {

# JSON格式输出

codec &＃61;> json_lines

}

jdbc.sql文件内容如下&＃xff1a;

select * from 要同步的MySQL数据库中的表名

bin目录下执行命令&＃xff1a;.&＃xff0f;logstash -f .&＃xff0f;mysql&＃xff0f;jdbc.conf

四、Java HTTP REST API访问ElasticSearch

Java访问ES的两种方式&＃xff1a;第一种——通过TransportClient访问&＃xff1b;第二种——通过Jest访问。我们采用Jest(一个封装了对ES各种操作的轻量的框架)。

步骤一&＃xff1a;pom.xml中添加相关依赖

<groupId>io.searchboxgroupId>

<artifactId>jestartifactId>

<version>5.3.3version>

dependency>

<groupId>org.elasticsearchgroupId>

<artifactId>elasticsearchartifactId>

<version>5.5.1.0version>

dependency>

<groupId>org.apache.httpcomponentsgroupId>

<artifactId>httpcoreartifactId>

<version>4.4.7version>

dependency>

<groupId>org.apache.httpcomponentsgroupId>

<artifactId>httpclientartifactId>

<version>4.5.3version>

dependency>

<groupId>commons-logginggroupId>

<artifactId>commons-loggingartifactId>

<version>1.1.1version>

dependency>

步骤二&＃xff1a;准备工具类&＃xff0c;封装各种Jest操作ES的方法

package com.jhzz.jizhitong.common.util;

import java.util.List;

import com.google.gson.GsonBuilder;

import io.searchbox.client.JestClient;

import io.searchbox.client.JestClientFactory;

import io.searchbox.client.JestResult;

import io.searchbox.client.config.HttpClientConfig;

import io.searchbox.core.Bulk;

import io.searchbox.core.BulkResult;

import io.searchbox.core.Count;

import io.searchbox.core.CountResult;

import io.searchbox.core.Delete;

import io.searchbox.core.DocumentResult;

import io.searchbox.core.Get;

import io.searchbox.core.Index;

import io.searchbox.core.Search;

import io.searchbox.core.SearchResult;

import io.searchbox.indices.CreateIndex;

import io.searchbox.indices.DeleteIndex;

import io.searchbox.indices.mapping.GetMapping;

import io.searchbox.indices.mapping.PutMapping;

/**

* Jest操作ES工具类

* &＃64;author wuhoujian

public class JestUtil {

/**

* 获取JestClient对象

* &＃64;return

public static JestClient getJestClient() {

JestClientFactory factory &＃61; new JestClientFactory();

factory.setHttpClientConfig(new HttpClientConfig.Builder("http://127.0.0.1:9200")

.gson(new GsonBuilder().setDateFormat("yyyy-MM-dd&＃39;T&＃39;hh:mm:ss").create()).connTimeout(1500)

.readTimeout(3000).multiThreaded(true).build());

return factory.getObject();

}

/**

* 创建索引

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;return

* &＃64;throws Exception

public boolean createIndex(JestClient jestClient, String indexName) throws Exception {

JestResult jr &＃61; jestClient.execute(new CreateIndex.Builder(indexName).build());

return jr.isSucceeded();

}

/**

* Put映射

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param source

* &＃64;return

* &＃64;throws Exception

public boolean createIndexMapping(JestClient jestClient, String indexName, String typeName, String source)

throws Exception {

PutMapping putMapping &＃61; new PutMapping.Builder(indexName, typeName, source).build();

JestResult jr &＃61; jestClient.execute(putMapping);

return jr.isSucceeded();

}

/**

* Get映射

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;return

* &＃64;throws Exception

public String getIndexMapping(JestClient jestClient, String indexName, String typeName) throws Exception {

GetMapping getMapping &＃61; new GetMapping.Builder().addIndex(indexName).addType(typeName).build();

JestResult jr &＃61; jestClient.execute(getMapping);

return jr.getJsonString();

}

/**

* 索引文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param objs

* &＃64;return

* &＃64;throws Exception

public boolean index(JestClient jestClient, String indexName, String typeName, List objs) throws Exception {

Bulk.Builder bulk &＃61; new Bulk.Builder().defaultIndex(indexName).defaultType(typeName);

for (Object obj : objs) {

Index index &＃61; new Index.Builder(obj).build();

bulk.addAction(index);

}

BulkResult br &＃61; jestClient.execute(bulk.build());

return br.isSucceeded();

}

/**

* 搜索文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param query

* &＃64;return

* &＃64;throws Exception

public SearchResult search(JestClient jestClient, String indexName, String typeName, String query)

throws Exception {

Search search &＃61; new Search.Builder(query).addIndex(indexName).addType(typeName).build();

return jestClient.execute(search);

}

/**

* Count文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param query

* &＃64;return

* &＃64;throws Exception

public Double count(JestClient jestClient, String indexName, String typeName, String query) throws Exception {

Count count &＃61; new Count.Builder().addIndex(indexName).addType(typeName).query(query).build();

CountResult results &＃61; jestClient.execute(count);

return results.getCount();

}

/**

* Get文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param id

* &＃64;return

* &＃64;throws Exception

public static JestResult get(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

Get get &＃61; new Get.Builder(indexName, id).type(typeName).build();

return jestClient.execute(get);

}

/**

* Delete索引

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;return

* &＃64;throws Exception

public boolean delete(JestClient jestClient, String indexName) throws Exception {

JestResult jr &＃61; jestClient.execute(new DeleteIndex.Builder(indexName).build());

return jr.isSucceeded();

}

/**

* Delete文档

* &＃64;param jestClient

* &＃64;param indexName

* &＃64;param typeName

* &＃64;param id

* &＃64;return

* &＃64;throws Exception

public boolean delete(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

DocumentResult dr &＃61; jestClient.execute(new Delete.Builder(id).index(indexName).type(typeName).build());

return dr.isSucceeded();

}

步骤三&＃xff1a;编码访问ES

JestResult jestResult &＃61; JestUtil.get(JestUtil.getJestClient(), "jizhitong", "pattern", "5");

System.out.println(jestResult.getSourceAsString());

推荐阅读

web
Spring Boot 参数处理与请求转发：深入探讨RESTful风格下的表单请求解决方案（学习笔记）

本文深入探讨了在Spring Boot中处理RESTful风格的表单请求的方法，包括请求参数处理、请求映射以及RESTful设计原则的应用。文章详细介绍了如何利用HTTP动词（如GET、POST、PUT、DELETE）来操作资源，并结合Spring Boot的注解（如@GetMapping、@PostMapping等）实现高效、清晰的请求处理逻辑。通过实例分析，展示了如何在实际项目中应用这些技术，提高开发效率和代码可维护性。 ... [详细]

蜡笔小新 2024-11-04 16:05:50
web
Python 实现监控与运维自动化方案

本文探讨了使用Python实现监控信息收集的方法，涵盖从基础的日志记录到复杂的系统运维解决方案，旨在帮助开发者和运维人员提升工作效率。 ... [详细]

蜡笔小新 2024-11-23 11:25:14
web
REST API 时代落幕，GraphQL 持续引领未来

尽管REST API已广泛使用多年，但在深入了解GraphQL及其解决的核心问题后，我深感其将引领未来的API设计趋势。GraphQL不仅提高了数据查询的效率，还增强了灵活性和性能，有望成为API开发的新标准。 ... [详细]

蜡笔小新 2024-10-27 09:13:29
web
基于角色的权限管理在AspNetForums中的应用

本文探讨了在AspNetForums平台中实施基于角色的权限控制系统的方法，旨在为不同级别的用户提供合适的访问权限，确保系统的安全性和可用性。 ... [详细]

蜡笔小新 2024-11-23 18:42:29
web
从迷茫到收获：阿里腾讯实习Offer的求取之路

本文回顾了作者在求职阿里和腾讯实习生过程中，从最初的迷茫到最后成功获得Offer的心路历程。文中不仅分享了个人的面试经历，还提供了宝贵的面试准备建议和技巧。 ... [详细]

蜡笔小新 2024-11-22 19:32:32
web
Fiddler 安装与配置指南

本文详细介绍了Fiddler的安装步骤及配置方法，旨在帮助用户顺利抓取用户Token。文章还涵盖了一些常见问题的解决方案，以确保安装过程顺利。 ... [详细]

蜡笔小新 2024-11-22 11:36:57
go
H5技术实现经典游戏《贪吃蛇》

本文将分享一个使用HTML5技术实现的经典小游戏——《贪吃蛇》。通过H5技术，我们将探讨如何构建这款游戏的两种主要玩法：积分闯关和无尽模式。 ... [详细]

蜡笔小新 2024-11-21 20:16:59
web
Web开发框架概览：Java与JavaScript技术及框架综述

Web开发涉及服务器端和客户端的协同工作。在服务器端，Java是一种优秀的编程语言，适用于构建各种功能模块，如通过Servlet实现特定服务。客户端则主要依赖HTML进行内容展示，同时借助JavaScript增强交互性和动态效果。此外，现代Web开发还广泛使用各种框架和库，如Spring Boot、React和Vue.js，以提高开发效率和应用性能。 ... [详细]

蜡笔小新 2024-11-09 11:59:38
web
REST与RPC：选择哪种API架构风格？

在探讨REST与RPC这两种API架构风格的选择时，本文首先介绍了RPC（远程过程调用）的概念。RPC允许客户端通过网络调用远程服务器上的函数或方法，从而实现分布式系统的功能调用。相比之下，REST（Representational State Transfer）则基于资源的交互模型，通过HTTP协议进行数据传输和操作。本文将详细分析两种架构风格的特点、适用场景及其优缺点，帮助开发者根据具体需求做出合适的选择。 ... [详细]

蜡笔小新 2024-11-07 12:00:58
web
Ceph API微服务实现RBD块设备的高效创建与安全删除

本文旨在实现Ceph块存储中RBD块设备的高效创建与安全删除功能。开发环境为CentOS 7，使用 IntelliJ IDEA 进行开发。首先介绍了 librbd 的基本概念及其在 Ceph 中的作用，随后详细描述了项目 Gradle 配置的优化过程，确保了开发环境的稳定性和兼容性。通过这一系列步骤，我们成功实现了 RBD 块设备的快速创建与安全删除，提升了系统的整体性能和可靠性。 ... [详细]

蜡笔小新 2024-10-31 15:11:07
go
41款高效LISP工具助力数据处理全流程

本文由公众号【数智物语】(ID: decision_engine)发布，关注获取更多干货。文章探讨了从数据收集到清洗、建模及可视化的全过程，介绍了41款实用工具，旨在帮助数据科学家和分析师提升工作效率。 ... [详细]

蜡笔小新 2024-11-24 00:11:50
web
如何寻找程序员的兼职机会

随着远程工作的兴起，越来越多的程序员开始寻找灵活的兼职工作机会。本文将介绍几个适合程序员、设计师、翻译等专业人士的在线平台，帮助他们找到合适的兼职项目。 ... [详细]

蜡笔小新 2024-11-23 16:41:08
settings
iOS Xcode 项目重命名指南

本文详细介绍了如何在最新版本的Xcode中重命名iOS项目，包括项目名称、应用名称及相关的文件夹和配置文件。通过本文，开发者可以轻松完成项目的重命名工作。 ... [详细]

蜡笔小新 2024-11-22 13:16:52
main
深入解析 Vue 中的 Axios 请求库

本文深入探讨了 Vue 中的 Axios 请求库，详细解析了其核心功能与使用方法。Axios 是一个基于 Promise 的 HTTP 客户端，支持浏览器和 Node.js 环境。文章首先介绍了 Axios 的基本概念，随后通过具体示例展示了如何在 Vue 项目中集成和使用 Axios 进行数据请求。无论你是初学者还是有经验的开发者，本文都能为你解决 Vue.js 相关问题提供有价值的参考。 ... [详细]

蜡笔小新 2024-11-03 19:54:00
web
推荐6款高效JavaWEB应用开发工具及其实用功能

本文推荐了六款高效的Java Web应用开发工具，并详细介绍了它们的实用功能。其中，分布式敏捷开发系统架构“zheng”项目，基于Spring、Spring MVC和MyBatis技术栈，提供了完整的分布式敏捷开发解决方案，支持快速构建高性能的企业级应用。此外，该工具还集成了多种中间件和服务，进一步提升了开发效率和系统的可维护性。 ... [详细]

蜡笔小新 2024-11-01 10:52:05

Tags | 热门标签

RankList | 热门文章