热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

数据结构与算法:HyperLogLog统计、布隆过滤器应用、缓存机制挑战及解决方案、Redis性能优化与监控、哨兵模式、版本控制工具Git

本文探讨了数据结构与算法在实际应用中的多个方面。首先介绍了HyperLogLog算法,用于高效地进行基数统计,能够准确估算大规模数据集中的唯一元素数量。接着讨论了布隆过滤器的应用,该过滤器在空间效率和查询速度上具有显著优势,适用于大数据场景下的快速成员检测。此外,文章分析了缓存机制面临的挑战及其解决方案,包括LRU和LFU等策略,并详细阐述了Redis的性能优化与监控方法,如使用哨兵模式实现高可用性。最后,介绍了版本控制工具Git的基本操作和最佳实践,帮助开发者有效管理代码版本。

1.基数统计算法 HyperLogLog

不重复的统计哦
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
开启并查看服务器(shutdown 关机 、 exit 退出服务器)
在这里插入图片描述
role 命令查看自己得角色
在这里插入图片描述
端口连接:
在这里插入图片描述
找到主机角色,才可以写入哦
在这里插入图片描述

它只有三个命令:
在这里插入图片描述
三个命令实例:
都去重的哦
在这里插入图片描述


2. 布隆过滤器 (需要以模块方式引入哦! 首先用git 下载)

在这里插入图片描述
在这里插入图片描述

安装
在这里插入图片描述
启动
在这里插入图片描述
连接一下:
在这里插入图片描述
bf 一下验证import成功
在这里插入图片描述

命令如下:
在这里插入图片描述

实例添加 bf
在这里插入图片描述
bf madd 一次添加多个
在这里插入图片描述
一次判断多个是否存在
在这里插入图片描述
**bf.reserve key 错误率 元素存储大小 共三个参数
在这里插入图片描述
第三个参数大小会使得准确率下降

使用场景可以是 url 的去重等

###processon 画图软件, 我自己下载下。###


3. 缓存雪崩 、缓存穿透

3.1缓存雪崩

在这里插入图片描述
**解决方案是:



  1. 设置失效时间随机,保证同一时刻不要有大量缓存失效。

  2. 主从和集群**
    在这里插入图片描述

3.2缓存穿透
如:postman 异常查询条件导致

在这里插入图片描述
解决方案:
1.后端验证
2.使用布隆过滤器(布隆过滤器没有的话,数据库里一定没有)
3. id=-1 空值
在这里插入图片描述
3.3缓存击穿
一个热点key,在某一个时刻失效,所有用户都请求这个key,导致这个key崩。
如热搜。

在这里插入图片描述
解决方案:
1.mysql 数据库中加锁,不让所有人同时请求这个key,要排队。
2. 让热点key 永不过期。 过期才会打到数据库,做热点的缓存。

原理自己看雀语。


总结:hyperLogLog 和布隆过滤器都是解决缓存穿透


4.内存淘汰策略

两种方法


5. redis 性能测试

在这里插入图片描述
很多的命令格式
在这里插入图片描述
每秒处理的存取量测试
在这里插入图片描述
看看用和不用管道的吞吐量区别
竟然差10倍, 管道效率真的高。
在这里插入图片描述


6. Redis 慢查询

测试调试时用吧, 正式发布后,就别了。
具体在这里插入图片描述
具体命令看手册!

10000是微妙单位
128条记录
在这里插入图片描述
than 0 是每一条后面的指令都会被记录
在这里插入图片描述
注意 ls -a 查看所有文件,包含隐藏文件。
:wq 保存退出


7.哨兵

自动故障转移
在这里插入图片描述
如果 A 挂了。BC就没用了。
我们该做什么? 把其中一个从机变成主机。这是手动操作。
但是如果晚上呢? 人值班?
所以用哨兵,监督redis主服务器 ,并将BC中一个挑选一个作为主机,自动来容灾恢复。
在这里插入图片描述
一主二从配置和运行效果
在这里插入图片描述

主机进程号 14455 被kill
在这里插入图片描述
看看哨兵反应
6377变成了6379的master身份,因为6379挂了。
在这里插入图片描述

就是做了以下的工作。其实也可以配置多个哨兵
在这里插入图片描述

再看看插图插曲
在这里插入图片描述


8. 初始Git

在这里插入图片描述
如果没有分布式,则中心一挂,就完蛋, 所以有了git ,保证了中心有问题,也不会完蛋。
在这里插入图片描述
做版本控制,有利于出问题时回滚。
在这里插入图片描述


推荐阅读
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • 网络运维工程师负责确保企业IT基础设施的稳定运行,保障业务连续性和数据安全。他们需要具备多种技能,包括搭建和维护网络环境、监控系统性能、处理突发事件等。本文将探讨网络运维工程师的职业前景及其平均薪酬水平。 ... [详细]
  • 本文深入探讨了 Redis 的两种持久化方式——RDB 快照和 AOF 日志。详细介绍了它们的工作原理、配置方法以及各自的优缺点,帮助读者根据具体需求选择合适的持久化方案。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • 1.如何在运行状态查看源代码?查看函数的源代码,我们通常会使用IDE来完成。比如在PyCharm中,你可以Ctrl+鼠标点击进入函数的源代码。那如果没有IDE呢?当我们想使用一个函 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 从 .NET 转 Java 的自学之路:IO 流基础篇
    本文详细介绍了 Java 中的 IO 流,包括字节流和字符流的基本概念及其操作方式。探讨了如何处理不同类型的文件数据,并结合编码机制确保字符数据的正确读写。同时,文中还涵盖了装饰设计模式的应用,以及多种常见的 IO 操作实例。 ... [详细]
  • 深入解析Redis内存对象模型
    本文详细介绍了Redis内存对象模型的关键知识点,包括内存统计、内存分配、数据存储细节及优化策略。通过实际案例和专业分析,帮助读者全面理解Redis内存管理机制。 ... [详细]
  • 深入理解Redis的数据结构与对象系统
    本文详细探讨了Redis中的数据结构和对象系统的实现,包括字符串、列表、集合、哈希表和有序集合等五种核心对象类型,以及它们所使用的底层数据结构。通过分析源码和相关文献,帮助读者更好地理解Redis的设计原理。 ... [详细]
  • Redis Hash 数据结构详解
    本文详细介绍了 Redis 中的 Hash 数据类型及其常用命令。Hash 类型用于存储键值对集合,支持多种操作如插入、查询、更新和删除字段值。此外,文章还探讨了 Hash 类型在实际业务场景中的应用,并提供了优化建议。 ... [详细]
  • 科研单位信息系统中的DevOps实践与优化
    本文探讨了某科研单位通过引入云原生平台实现DevOps开发和运维一体化,显著提升了项目交付效率和产品质量。详细介绍了如何在实际项目中应用DevOps理念,解决了传统开发模式下的诸多痛点。 ... [详细]
  • 随着Redis功能的不断增强和稳定性提升,其应用范围日益广泛,成为软件开发人员不可或缺的技能之一。本文将深入探讨Redis集群的部署与优化,包括主从备份机制、哨兵模式以及集群功能,帮助读者全面理解并掌握Redis集群的应用。 ... [详细]
  • 本文探讨了哪些数据库支持队列式的写入操作(即一个键对应一个队列,数据可以连续入队),并且具备良好的持久化特性。这类需求通常出现在需要高效处理和存储大量有序数据的场景中。 ... [详细]
  • 本文介绍了数据库体系的基础知识,涵盖关系型数据库(如MySQL)和非关系型数据库(如MongoDB)的基本操作及高级功能。通过三个阶段的学习路径——基础、优化和部署,帮助读者全面掌握数据库的使用和管理。 ... [详细]
author-avatar
蜡笔小新11953150
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有