首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

笔记六十一：提升集群写性能

作者：苏小明2602896955 | 来源：互联网 | 2023-10-11 18:18
提高写入性能的方法写性能优化的目标：增大写吞吐量（EventsPerSecond），越高越好客户端：多线程，批量写可以通过性能测试，确定最佳文档数量多线程：需要观察是否有HTTP4






系列文章：

笔记一：前期 docker 环境搭建
笔记二：docer-compose 的安装以及编排文件
笔记三：基本概念-文档、索引和 REST API
笔记四：文档的基本 CRUD 与批量操作
笔记五：倒排索引
笔记六：通过 Analyzer 进行分词
笔记七：Search API 概览
笔记八：URI Search 详解
笔记九：Request Body 跟 Query DSL 简介
笔记十：Query String & Simple Query String
笔记十一： Dynamic Mapping 和常见字段类型
笔记十二： 显示 Mapping 设置与常见参数
笔记十三：多字段特性及 Mapping 中配置自定义 Analyzer
笔记十五：聚合分析简介
笔记十六：第一节自我测试
笔记十七：基于词项和基于全文的搜索
笔记十八：结构化搜索
笔记十九：搜索的相关性算分
笔记二十：Query & Filtering 与 多字符串多字段查询
笔记二十一：单字符串多字段查询：Dis Max Query
笔记二十二：单字符串多字段查询: Multi Match
笔记二十三：多语言及中文分词与检索
笔记二十五：使用 Search Template 和 Index Alias
笔记二十六：综合排序 Function Score Query 优化算分
笔记二十七：Term & Phrase Suggester
笔记二十八：自动补全与机遇上下文的提示
笔记二十九：配置跨集群搜索
笔记三十：集群分布式模型与选主与脑裂问题
笔记三十一：分片与集群的故障转移
笔记三十二：文档分布式存储
笔记三十三： 分片及其生命周期
笔记三十四：剖析分布式查询及相关性算法
笔记三十五：排序及 Doc Values & Field Data
笔记三十六：分页与遍历 From, Size,Search After & Scorll API
笔记三十七：处理并发读写操作
笔记三十八：Bucket & Metric 聚合分析及嵌套聚合
笔记三十九：Pipeline 聚合分析
笔记四十：聚合的作用范围及排序
笔记四十一：聚合的精准度问题
笔记四十二：对象及 Nested 对象
笔记四十三：文档的父子关系
笔记四十四：Update By Query & Reindex API
笔记四十五： Ingest Pipeline 与 Painless Script
笔记四十六：Elasticsearch 数据建模实例
笔记四十七：Elasticsearch 数据建模佳实践
笔记四十九： 管集群身份认证与用户鉴权
笔记五十：集群内部间的安全通信
笔记五十一：集群与外部间的安全通信
笔记五十二：集常见的集群部署方式
笔记五十三：Hot & Warm 架构与 Shard Filtering
笔记五十四：分片设定及管理
笔记五十五：如何对集群进行容量规划
笔记五十六：生产环境常用配置和上线清单
笔记五十七：监控 Elasticsearch 集群
笔记五十八：诊断集群的潜在问题
笔记五十九：解决集群 Yellow 与 Red 的问题
笔记六十：提升集群读性能
笔记六十一：提升集群写性能
笔记六十二：集群压力测试
笔记六十三：段合并优化及注意事项
笔记六十四：缓存及使用 Circuit Breaker 限制内存使用
笔记六十五：一些运维相关的建议









提高写入性能的方法
  • 写性能优化的目标：增大写吞吐量（Events Per Second），越高越好
  • 客户端：多线程，批量写
    • 可以通过性能测试，确定最佳文档数量
    • 多线程：需要观察是否有 HTTP 429 返回，实现 Retry 以及线程数量的自动调节
  • 服务器端：单个性能问题，往往是多个因素造成的。需要先分解问题，在单个节点上进行调整并 且结合测试，尽可能压榨硬件资源，以达到最高吞吐量
    • 使用更好的硬件。观察 CPU / IO Block
    • 线程切换 / 堆栈状况

服务器端优化写入性能的一些手段
  • 降低 IO 操作
    • 使用 ES 自动生成的文档 Id / 一些相关的 ES 配置，如 Refresh Interval
  • 降低 CPU 和存储开销
    • 减少不必要分词 / 避免不需要的 doc_values /文档的字段尽量保证相同的顺序，可以提高文档的压缩率
  • 尽可能做到写入和分片的均衡负载，实现水平扩展
    • Shard Filtering / Write Load Balancer
  • 调整 Bulk 线程池和队列

优化写入性能
  • ES 的默认设置，已经综合考虑了数据可靠性，搜索的实时性质，写入速度，一般不要盲目修改
  • 一切优化，都要基于高质量的数据建模

关闭无关的功能
  • 只需要聚合不需要搜索， Index 设置成 false
  • 不需要算分， Norms 设置成 false
  • 不要对字符串使用默认的 dynamic mapping。字段 数量过多，会对性能产生比较大的影响
  • Index_options 控制在创建倒排索引时，哪些内容 会被添加到倒排索引中。优化这些设置，一定程度 可以节约 CPU
  • 关闭 _source，减少 IO 操作；（适合指标型数据）

集群写性能优化


针对性能的取舍
  • 如果需要追求极致的写入速度，可以牺牲数据可靠性及搜索实时性以换取性能
    • 牺牲可靠性：将副本分片设置为 0，写入完毕再调整回去
    • 牺牲搜索实时性：增加 Refresh Interval 的时间
    • 牺牲可靠性：修改 Translog 的配置

数据写入的过程
  • Refresh
    • 将文档先保存在 Index buffer 中， 以 refresh_interval 为间隔时间，定期清空 buffer，生成 segment，借助文件系统缓存的特性，先将segment 放在文件系统缓存中，并开放查询，以提升搜索的实时性
  • Translog
    • Segment 没有写入磁盘，即便发生了当机，重启后，数据也能恢复，默认配置是每次请求都会落盘
  • Flush
    • 删除旧的 translog 文件
    • 生成 Segment 并写入磁盘 / 更新 commit point 并写入磁盘。 ES 自动完成，可优化点不多

Refresh Interval
  • 降低 Refresh 的频率
    • 增加 refresh_interval 的数值。默认为 1s ，如果设置成 -1 ，会禁止自动 refresh
      • 避免过于频繁的 refresh，而生成过多的 segment 文件
      • 但是会降低搜索的实时性
    • 增大静态配置参数 indices.memory.index_buffer_size
      • 默认是 10%， 会导致自动触发 refresh

Translog
  • 降低写磁盘的频率，但是会降低容灾能力

    - `Index.translog.durability`：默认是 request，每个请求都落盘。设置成 async，异步写入
    - `Index.translog.sync_interval` 设置为 60s，每分钟执行一次
    - `Index.translog.flush_threshod_size`: 默认 512 mb，可以适当调大。 当 translog 超过该值，会触发 flush


分片设定
  • 副本在写入时设为 0，完成后再增加
  • 合理设置主分片数，确保均匀分配在所有数据节点上
    • Index.routing.allocation.total_share_per_node: 限定每个索引在每个节点上可分配的分片数（replicas and primaries）
    • 5 个节点的集群。 索引有 5 个主分片，1 个副本，应该如何设置？
      • （5+5） / 5 = 2
      • 生产环境中要适当调大这个数字，避免有节点下线时，分片无法正常迁移

Bulk，线程池和队列大小
  • 客户端

    - 单个 bulk 请求体的数据量不要太大，官方建议大约5-15mb
    - 写入端的 bulk 请求超时需要足够长，建议60s 以上
    - 写入端尽量将数据轮询打到不同节点。

  • 服务器端
    • 索引创建属于计算密集型任务，应该使用固定大小的线程池来配置。来不及处理的放入队列，线程数应该 配置成 CPU 核心数 +1 ，避免过多的上下文切换
    • 队列大小可以适当增加，不要过大，否则占用的内存会成为 GC 的负担

一个索引设定的例子

集群写性能优化




推荐阅读
  • process

    Spring Boot 参数处理与请求转发：深入探讨RESTful风格下的表单请求解决方案（学习笔记）

    本文深入探讨了在Spring Boot中处理RESTful风格的表单请求的方法，包括请求参数处理、请求映射以及RESTful设计原则的应用。文章详细介绍了如何利用HTTP动词（如GET、POST、PUT、DELETE）来操作资源，并结合Spring Boot的注解（如@GetMapping、@PostMapping等）实现高效、清晰的请求处理逻辑。通过实例分析，展示了如何在实际项目中应用这些技术，提高开发效率和代码可维护性。 ... [详细]
  • text

    Android系统支持的图像格式及其版本兼容性（涵盖存储、HTTP传输、相机功能、SparseArray应用与系统升级）

    本文探讨了Android系统中支持的图像格式及其在不同版本中的兼容性问题，重点涵盖了存储、HTTP传输、相机功能以及SparseArray的应用。文章详细分析了从Android 10 (API 29) 到Android 11 的存储规范变化，并讨论了这些变化对图像处理的影响。此外，还介绍了如何通过系统升级和代码优化来解决版本兼容性问题，以确保应用程序在不同Android版本中稳定运行。 ... [详细]
  • list

    深入解析 Android 中 EditText 的 getLayoutParams 方法及其代码应用实例

    深入解析 Android 中 EditText 的 getLayoutParams 方法及其代码应用实例 ... [详细]
  • shell

    CLIfe：我的高效开发环境配置

    在开发过程中，我最初也依赖于功能全面但操作繁琐的集成开发环境（IDE），如Borland Delphi 和 Microsoft Visual Studio。然而，随着对高效开发的追求，我逐渐转向了更加轻量级和灵活的工具组合。通过 CLIfe，我构建了一个高度定制化的开发环境，不仅提高了代码编写效率，还简化了项目管理流程。这一配置结合了多种强大的命令行工具和插件，使我在日常开发中能够更加得心应手。 ... [详细]
  • list

    Squaretest：自动生成功能测试代码的高效插件

    Squaretest：自动生成功能测试代码的高效插件
    本文将介绍一款名为Squaretest的高效插件，该工具能够自动生成功能测试代码。使用这款插件的主要原因是公司近期加强了代码质量的管控，对各项目进行了严格的单元测试评估。Squaretest不仅提高了测试代码的生成效率，还显著提升了代码的质量和可靠性。 ... [详细]
  • testing

    如何更有效地提升对支持部门的协助与支撑？ - Enhancing Support for the Support Department: Strategies and Best Practices

    尽管我们尽最大努力，任何软件开发过程中都难免会出现缺陷。为了更有效地提升对支持部门的协助与支撑，本文探讨了多种策略和最佳实践，旨在通过改进沟通、增强培训和支持流程来减少这些缺陷的影响，并提高整体服务质量和客户满意度。 ... [详细]
  • process

    Kafka 集群的高效部署与优化策略

    本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤，包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践，涵盖节点选择、网络优化和性能调优等方面，旨在提升系统的稳定性和处理能力。此外，还提供了常见的故障排查方法和监控方案，帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • process

    在 Ubuntu 系统中安装 Python pip 时遇到错误的解决方案

    在 Ubuntu 系统中安装 Python pip 时遇到错误的解决方案 ... [详细]
  • process

    Nginx伪静态配置与优化技巧

    本文探讨了Nginx在处理静态和动态URL时的配置与优化技巧。通过示例展示了如何将复杂的动态URL重写为简洁的静态URL，如将`http://test.dev/televisionSearch?searchword=20&a`转换为`http://test.dev/search_sw_20_p_1.html`。此外，还介绍了如何利用Nginx的重写规则和缓存机制，提高网站性能和用户体验。 ... [详细]
  • list

    腾讯云服务器上部署Nginx详细指南

    在腾讯云服务器上部署Nginx的详细指南中，首先需要确保安装必要的依赖包。如果这些依赖包已安装，可直接跳过此步骤。具体命令包括 `yum -y install gcc gcc-c++ wget net-tools pcre-devel zlib-devel`。接下来，本文将详细介绍如何下载、编译和配置Nginx，以确保其在腾讯云服务器上顺利运行。此外，还将提供一些优化建议，帮助用户提升Nginx的性能和安全性。 ... [详细]
  • list

    深入解析 Kubernetes 亲和性调度机制及其优化策略

    在 Kubernetes 中，Pod 的调度通常由集群的自动调度策略决定，这些策略主要关注资源充足性和负载均衡。然而，在某些场景下，用户可能需要更精细地控制 Pod 的调度行为，例如将特定的服务（如 GitLab）部署到特定节点上，以提高性能或满足特定需求。本文深入解析了 Kubernetes 的亲和性调度机制，并探讨了多种优化策略，帮助用户实现更高效、更灵活的资源管理。 ... [详细]
  • list

    Python 中 json.dumps() 和 json.loads() 的使用方法详解——Python 面试与 JavaScript 面试必备知识

    Python 中 json.dumps() 和 json.loads() 的使用方法详解——Python 面试与 JavaScript 面试必备知识
    在 Python 中，`json.dumps()` 和 `json.loads()` 是处理 JSON 数据的核心函数。`json.dumps()` 用于将字典或其他可序列化对象转换为 JSON 格式的字符串，而 `json.loads()` 则用于将 JSON 字符串解析为 Python 对象。本文详细介绍了这两个函数的使用方法及其在 Python 和 JavaScript 面试中的重要性，帮助读者掌握这些关键技能。 ... [详细]
  • process

    利用树莓派畅享落网电台音乐体验

    利用树莓派畅享落网电台音乐体验
    最近重新拾起了闲置已久的树莓派，这台小巧的开发板已经沉寂了半年多。上个月闲暇时间较多，我决定将其重新启用。恰逢落网电台进行了改版，回忆起之前在树莓派论坛上看到有人用它来播放豆瓣音乐，便萌生了同样的想法。通过一番调试，终于实现了在树莓派上流畅播放落网电台音乐的功能，带来了全新的音乐享受体验。 ... [详细]
  • process

    实现Nginx对ThinkPHP URL重写及PATHINFO支持的详细方法解析【PHP开发】

    实现Nginx对ThinkPHP URL重写及PATHINFO支持的详细方法解析【PHP开发】
    在PHP后端开发中，实现Nginx对ThinkPHP的URL重写及PATHINFO支持是一项常见的需求。本文详细解析了经过多次尝试和研究，最终找到的一种有效配置方法，能够确保URL_MODERewrite功能正常运行，并提供稳定的服务。此外，文章还探讨了相关配置项的具体作用及其优化建议，帮助开发者更好地理解和应用这些技术。 ... [详细]
  • text

    如何有效解决 PHP 处理大图片时的内存溢出问题

    在处理大图片时，PHP 常常会遇到内存溢出的问题。为了避免这种情况，建议避免使用 `setImageBitmap`、`setImageResource` 或 `BitmapFactory.decodeResource` 等方法直接加载大图。这些函数在处理大图片时会消耗大量内存，导致应用崩溃。推荐采用分块处理、图像压缩和缓存机制等策略，以优化内存使用并提高处理效率。此外，可以考虑使用第三方库如 ImageMagick 或 GD 库来处理大图片，这些库提供了更高效的内存管理和图像处理功能。 ... [详细]
author-avatar
苏小明2602896955
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有