热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

es的分布式原理?es是如何实现分布式的?

Elasticsearch设计的理念是分布式搜索引擎,底层其实是基于lucene。核心思

Elasticsearch设计的理念是分布式搜索引擎,底层其实是基于lucene。核心思想是在多台机器上启动多个es进程实例,组成一个es集群。


es中存储数据的基本单位是索引,比如说你现在要在es中存储一些订单数据,你就应该在es创建一个索引order_idx,所有的订单数据都会写入这个索引里面去,一个索引差不多相当于mysql中的一个数据库。为了方面记忆,可以跟传统的数据库对比来看,但记住不是一样的概念。

    index(database) -> type(table) --> mapping(struct) --> document(行) --> field(字段的值)


    很多情况下,一个index里可能就只有一个type,但是确实如果说一个index里有多个type的情况,你可以认为index就像一个数据库,一个数据库有多个type表,每个表有多个document行,每行也会有多个field字段的值,而mapping对应这个type的表结构定义,但在es7.x已经被移除。




    你创建一个索引,这个索引可以拆分成多个shard,每个shard存储部分数据。拆分多个shard是有好处的。一是支持横向扩展。比如你的数据量是3T,3个shard,每个shard就1T的数据,若现在数据量增加到4T,怎么扩展呢?简单,重新建一个有4个shard的索引,将数据导进去;而是提供性能,数据分布在多个shard,即多台服务器上,所有的操作,都会在多台机器上并行分布式执行。提高了吞吐量和性能。


    接着就是多个shard的数据实际是有多个备份,就是说每个shard都会有个primary shard,负责写入数据,但是有多个replica shard。primary shard写入数据之后,会将数据同步到其他几个replica shard上去。


    通过这个replica的方案,每个shard的数据都有多个备份,如果某台服务器挂了,没关系,还有别的数据副本在其他集群上,由此实现了高可用。


    es集群多个节点,会自动选举一个节点为master节点,这个master节点其实就是干一些管理的工作,比如维护索引元数据,负责切换primary shard和replica shard身份等,如果master节点挂了,那么会重新选举一个节点为master节点。


    如果非master节点挂了,那么master节点会让宕机的primary shard的身份转移到其他机器上replica shard。接着你要是修复了那个宕机节点机器,重启之后,master节点会控制将缺失的replica shard分配过去,同步后续修改的数据等操作, 让集群正常工作。


    简单来说,非master节点宕机之后,节点上primary shard就没有了。那么master会让primary shard对应的replica shard(其他机器)切换成primary shard 。当宕机服务器修复之后,修复后的的节点不在是primary shard,而是replica shard。


    上述其实就是elsaticsearch作为分布式搜索引擎的最基本的架构设计。



    推荐阅读
    • Spring Cloud因其强大的功能和灵活性,被誉为开发分布式系统的‘一站式’解决方案。它不仅简化了分布式系统中的常见模式实现,还被广泛应用于企业级生产环境中。本书内容详实,覆盖了从微服务基础到Spring Cloud的高级应用,适合各层次的开发者。 ... [详细]
    • 58同城的Elasticsearch应用与平台构建实践
      本文由58同城高级架构师于伯伟分享,由陈树昌编辑整理,内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用,特别是在58同城的实施案例,包括集群优化、典型应用实例及自动化平台建设等方面。 ... [详细]
    • 探讨架构师在项目中应如何平衡对产品的关注和对团队成员的关注,以实现最佳的开发成果。 ... [详细]
    • 本文深入探讨了MySQL中常见的面试问题,包括事务隔离级别、存储引擎选择、索引结构及优化等关键知识点。通过详细解析,帮助读者在面对BAT等大厂面试时更加从容。 ... [详细]
    • MySQL缓存机制深度解析
      本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
    • 网络运维工程师负责确保企业IT基础设施的稳定运行,保障业务连续性和数据安全。他们需要具备多种技能,包括搭建和维护网络环境、监控系统性能、处理突发事件等。本文将探讨网络运维工程师的职业前景及其平均薪酬水平。 ... [详细]
    • Hadoop入门与核心组件详解
      本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
    • 随着网络安全威胁的不断演变,电子邮件系统成为攻击者频繁利用的目标。本文详细探讨了电子邮件系统中的常见漏洞及其潜在风险,并提供了专业的防护建议。 ... [详细]
    • 探讨如何真正掌握Java EE,包括所需技能、工具和实践经验。资深软件教学总监李刚分享了对毕业生简历中常见问题的看法,并提供了详尽的标准。 ... [详细]
    • 本文探讨了2012年4月期间,淘宝在技术架构上的关键数据和发展历程。涵盖了从早期PHP到Java的转型,以及在分布式计算、存储和网络流量管理方面的创新。 ... [详细]
    • 本文探讨了Java编程的核心要素,特别是其面向对象的特性,并详细介绍了Java虚拟机、类装载器体系结构、Java类文件和Java API等关键技术。这些技术使得Java成为一种功能强大且易于使用的编程语言。 ... [详细]
    • 本文作者分享了在阿里巴巴获得实习offer的经历,包括五轮面试的详细内容和经验总结。其中四轮为技术面试,一轮为HR面试,涵盖了大量的Java技术和项目实践经验。 ... [详细]
    • docker镜像重启_docker怎么启动镜像dock ... [详细]
    • 收割机|篇幅_国内最牛逼的笔记,不接受反驳!!
      收割机|篇幅_国内最牛逼的笔记,不接受反驳!! ... [详细]
    • 本文详细探讨了成为一名合格的初级Java工程师所需掌握的知识体系,以及从初级到中级乃至高级工程师的成长路径和职业发展前景。 ... [详细]
    author-avatar
    我就是我
    这个家伙很懒,什么也没留下!
    PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
    Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有