当前位置: 开发笔记 > 后端 > 正文

每年递增10亿数据量的elasticsearch节点部署设计

作者：mobiledu2502931893 | 来源：互联网 | 2023-05-28 17:39

使用ES存储即时通讯应用的聊天消息，用于消息搜索。每年新增消息量在10亿条左右，目前已有30亿左右数据存在mysql，将由mysql导入，后续新增的将直接写入ES。请问基于设计原则，es每个分片存储在

使用ES存储即时通讯应用的聊天消息，用于消息搜索。每年新增消息量在10亿条左右，目前已有30亿左右数据存在mysql，将由mysql导入，后续新增的将直接写入ES。
请问基于设计原则，es每个分片存储在20~40gb比较好。这样是否适合尽量多部署节点，每个借点存储量可以少些，目前我们计划部署100个节点，每个节点使用4核8线，8gb内存的机器。
另外消息用于搜索，需搜索算量数据，(1)存在一个索引，(2)按日期存多个索引，使用同一个别名指向这些索引查询。2相对于1性能会好些吗？

推荐阅读

h2
SpringCloud电商平台开发指南：实战案例解析

本文详细介绍了基于SpringCloud构建的电商平台项目，涵盖了从技术选型到项目部署的全流程，旨在帮助开发者快速掌握电商平台的开发技巧。 ... [详细]

蜡笔小新 2024-12-16 13:07:10
mysql
精通Spring Cloud：从入门到实践的全面指南

Spring Cloud因其强大的功能和灵活性，被誉为开发分布式系统的‘一站式’解决方案。它不仅简化了分布式系统中的常见模式实现，还被广泛应用于企业级生产环境中。本书内容详实，覆盖了从微服务基础到Spring Cloud的高级应用，适合各层次的开发者。 ... [详细]

蜡笔小新 2024-12-16 16:21:23
mysql
58同城的Elasticsearch应用与平台构建实践

本文由58同城高级架构师于伯伟分享，由陈树昌编辑整理，内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用，特别是在58同城的实施案例，包括集群优化、典型应用实例及自动化平台建设等方面。 ... [详细]

蜡笔小新 2024-12-11 19:31:21
mysql
PHP 编程疑难解析与知识点汇总

本文详细解答了 PHP 编程中的常见问题，并提供了丰富的代码示例和解决方案，帮助开发者更好地理解和应用 PHP 知识。 ... [详细]

蜡笔小新 2024-12-28 12:22:34
cron
新浪笔试题

1:有如下一段程序：packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]

蜡笔小新 2024-12-27 19:32:17
mysql
开源软件：新时代的商业机遇与挑战

在哈佛大学商学院举行的Cyberposium大会上，专家们深入探讨了开源软件的崛起及其对企业市场的影响。会议指出，开源软件不仅为企业提供了新的增长机会，还促进了软件质量的提升和创新。 ... [详细]

蜡笔小新 2024-12-27 14:49:56
mysql
使用Vultr云服务器和Namesilo域名搭建个人网站

本文详细介绍了如何通过Vultr云服务器和Namesilo域名搭建一个功能齐全的个人网站，包括购买、配置服务器以及绑定域名的具体步骤。文章还提供了详细的命令行操作指南，帮助读者顺利完成建站过程。 ... [详细]

蜡笔小新 2024-12-26 16:36:34
mysql
Hadoop入门与核心组件详解

本文详细介绍了Hadoop的基础知识及其核心组件，包括HDFS、MapReduce和YARN。通过本文，读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]

蜡笔小新 2024-12-26 13:12:48
mysql
PHP Eloquent ORM 中的关联查询扩展

本文探讨了如何在 PHP 的 Eloquent ORM 中实现数据表之间的关联查询，并通过具体示例详细解释了如何将关联数据嵌入到查询结果中。这不仅提高了数据查询的效率，还简化了代码逻辑。 ... [详细]

蜡笔小新 2024-12-25 18:14:14
mysql
字节跳动夏季招聘面试经验分享

本文详细记录了字节跳动夏季招聘的面试经历，涵盖了一、二、三轮面试的技术问题及项目讨论，旨在为准备类似面试的求职者提供参考。 ... [详细]

蜡笔小新 2024-12-18 09:31:48
mysql
在CentOS 7上轻松安装Elasticsearch的JDBC插件

本文介绍如何在CentOS 7操作系统中安装Elasticsearch (简称ES) 的JDBC插件，以实现与MySQL数据库的有效连接，特别强调了该方法对于增量数据同步的支持。 ... [详细]

蜡笔小新 2024-12-11 13:50:25
php
Elasticsearch排序机制详解

本文深入探讨了Elasticsearch中的排序功能，包括相关性排序、字段值排序、多级排序及字符串和多值字段的排序策略，旨在帮助读者更好地理解和优化搜索结果。 ... [详细]

蜡笔小新 2024-12-11 11:35:50
php
构建Filebeat-Kafka-Logstash-ElasticSearch-Kibana日志收集体系

本文介绍了如何使用Filebeat、Kafka、Logstash、ElasticSearch和Kibana构建一个高效、可扩展的日志收集与分析系统。各组件分别承担不同的职责，确保日志数据能够被有效收集、处理、存储及可视化。 ... [详细]

蜡笔小新 2024-12-08 14:48:22
mysql
Elasticsearch中的文档和索引管理

本文介绍了Elasticsearch的基本概念，包括集群、节点、分片和副本的定义，并详细解释了如何执行文档和索引的CRUD操作。同时，文章还探讨了Elasticsearch与传统关系型数据库MySQL之间的对应关系，以及倒排索引的工作原理。 ... [详细]

蜡笔小新 2024-12-07 14:48:59
mysql
获得头条Offer后，我感激的七个技术公众号

是否感觉订阅的公众号过多，浏览时缺乏目标性，未能获取实质性的知识？本文将介绍如何精简公众号列表，提升信息吸收效率，并推荐几个高质量的技术公众号。 ... [详细]

蜡笔小新 2024-12-07 13:09:34

mobiledu2502931893

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章