热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

数据结构与算法:HyperLogLog统计、布隆过滤器应用、缓存机制挑战及解决方案、Redis性能优化与监控、哨兵模式、版本控制工具Git

本文探讨了数据结构与算法在实际应用中的多个方面。首先介绍了HyperLogLog算法,用于高效地进行基数统计,能够准确估算大规模数据集中的唯一元素数量。接着讨论了布隆过滤器的应用,该过滤器在空间效率和查询速度上具有显著优势,适用于大数据场景下的快速成员检测。此外,文章分析了缓存机制面临的挑战及其解决方案,包括LRU和LFU等策略,并详细阐述了Redis的性能优化与监控方法,如使用哨兵模式实现高可用性。最后,介绍了版本控制工具Git的基本操作和最佳实践,帮助开发者有效管理代码版本。

1.基数统计算法 HyperLogLog

不重复的统计哦
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
开启并查看服务器(shutdown 关机 、 exit 退出服务器)
在这里插入图片描述
role 命令查看自己得角色
在这里插入图片描述
端口连接:
在这里插入图片描述
找到主机角色,才可以写入哦
在这里插入图片描述

它只有三个命令:
在这里插入图片描述
三个命令实例:
都去重的哦
在这里插入图片描述


2. 布隆过滤器 (需要以模块方式引入哦! 首先用git 下载)

在这里插入图片描述
在这里插入图片描述

安装
在这里插入图片描述
启动
在这里插入图片描述
连接一下:
在这里插入图片描述
bf 一下验证import成功
在这里插入图片描述

命令如下:
在这里插入图片描述

实例添加 bf
在这里插入图片描述
bf madd 一次添加多个
在这里插入图片描述
一次判断多个是否存在
在这里插入图片描述
**bf.reserve key 错误率 元素存储大小 共三个参数
在这里插入图片描述
第三个参数大小会使得准确率下降

使用场景可以是 url 的去重等

###processon 画图软件, 我自己下载下。###


3. 缓存雪崩 、缓存穿透

3.1缓存雪崩

在这里插入图片描述
**解决方案是:



  1. 设置失效时间随机,保证同一时刻不要有大量缓存失效。

  2. 主从和集群**
    在这里插入图片描述

3.2缓存穿透
如:postman 异常查询条件导致

在这里插入图片描述
解决方案:
1.后端验证
2.使用布隆过滤器(布隆过滤器没有的话,数据库里一定没有)
3. id=-1 空值
在这里插入图片描述
3.3缓存击穿
一个热点key,在某一个时刻失效,所有用户都请求这个key,导致这个key崩。
如热搜。

在这里插入图片描述
解决方案:
1.mysql 数据库中加锁,不让所有人同时请求这个key,要排队。
2. 让热点key 永不过期。 过期才会打到数据库,做热点的缓存。

原理自己看雀语。


总结:hyperLogLog 和布隆过滤器都是解决缓存穿透


4.内存淘汰策略

两种方法


5. redis 性能测试

在这里插入图片描述
很多的命令格式
在这里插入图片描述
每秒处理的存取量测试
在这里插入图片描述
看看用和不用管道的吞吐量区别
竟然差10倍, 管道效率真的高。
在这里插入图片描述


6. Redis 慢查询

测试调试时用吧, 正式发布后,就别了。
具体在这里插入图片描述
具体命令看手册!

10000是微妙单位
128条记录
在这里插入图片描述
than 0 是每一条后面的指令都会被记录
在这里插入图片描述
注意 ls -a 查看所有文件,包含隐藏文件。
:wq 保存退出


7.哨兵

自动故障转移
在这里插入图片描述
如果 A 挂了。BC就没用了。
我们该做什么? 把其中一个从机变成主机。这是手动操作。
但是如果晚上呢? 人值班?
所以用哨兵,监督redis主服务器 ,并将BC中一个挑选一个作为主机,自动来容灾恢复。
在这里插入图片描述
一主二从配置和运行效果
在这里插入图片描述

主机进程号 14455 被kill
在这里插入图片描述
看看哨兵反应
6377变成了6379的master身份,因为6379挂了。
在这里插入图片描述

就是做了以下的工作。其实也可以配置多个哨兵
在这里插入图片描述

再看看插图插曲
在这里插入图片描述


8. 初始Git

在这里插入图片描述
如果没有分布式,则中心一挂,就完蛋, 所以有了git ,保证了中心有问题,也不会完蛋。
在这里插入图片描述
做版本控制,有利于出问题时回滚。
在这里插入图片描述


推荐阅读
  • NoSQL数据库,即非关系型数据库,有时也被称作Not Only SQL,是一种区别于传统关系型数据库的管理系统。这类数据库设计用于处理大规模、高并发的数据存储与查询需求,特别适用于需要快速读写大量非结构化或半结构化数据的应用场景。NoSQL数据库通过牺牲部分一致性来换取更高的可扩展性和性能,支持分布式部署,能够有效应对互联网时代的海量数据挑战。 ... [详细]
  • 开发心得:利用 Redis 构建分布式系统的轻量级协调机制
    开发心得:利用 Redis 构建分布式系统的轻量级协调机制 ... [详细]
  • ZeroMQ在云计算环境下的高效消息传递库第四章学习心得
    本章节深入探讨了ZeroMQ在云计算环境中的高效消息传递机制,涵盖客户端请求-响应模式、最近最少使用(LRU)队列、心跳检测、面向服务的队列、基于磁盘的离线队列以及主从备份服务等关键技术。此外,还介绍了无中间件的请求-响应架构,强调了这些技术在提升系统性能和可靠性方面的应用价值。个人理解方面,ZeroMQ通过这些机制有效解决了分布式系统中常见的通信延迟和数据一致性问题。 ... [详细]
  • 为何Serverless将成为未来十年的主导技术领域?
    为何Serverless将成为未来十年的主导技术领域? ... [详细]
  • Python 并发编程进阶:从初学者到高手的进程与模块开发指南
    Python 并发编程进阶:从初学者到高手的进程与模块开发指南 ... [详细]
  • 黄聪:MySQL主从复制配置,实现高效读写分离
    大型网站为应对高并发访问,不仅需要在前端实现分布式负载均衡,还需在数据业务和访问层采取有效措施。采用传统的数据结构已无法满足需求,通过配置MySQL主从复制,可实现高效的读写分离,显著提升系统性能和稳定性。 ... [详细]
  • DNS解析流程详解
    在网络通信中,大多数数据交换依赖于TCP/IP协议,该协议以IP地址为基础。因此,计算机在互联网上进行通信时,主要通过如“202.96.134.133”这样的IP地址来识别目标设备。然而,为了提高用户体验和便于记忆,DNS(域名系统)应运而生,将易于理解的域名转换为IP地址,确保高效且准确的网络连接。本文详细解析了DNS解析的整个流程,包括域名查询、缓存机制及递归解析等关键环节,帮助读者深入了解这一核心网络技术。 ... [详细]
  • Django框架下的对象关系映射(ORM)详解
    在Django框架中,对象关系映射(ORM)技术是解决面向对象编程与关系型数据库之间不兼容问题的关键工具。通过将数据库表结构映射到Python类,ORM使得开发者能够以面向对象的方式操作数据库,从而简化了数据访问和管理的复杂性。这种技术不仅提高了代码的可读性和可维护性,还增强了应用程序的灵活性和扩展性。 ... [详细]
  • 在 Linux 系统中,`/proc` 目录实现了一种特殊的文件系统,称为 proc 文件系统。与传统的文件系统不同,proc 文件系统主要用于提供内核和进程信息的动态视图,通过文件和目录的形式呈现。这些信息包括系统状态、进程细节以及各种内核参数,为系统管理员和开发者提供了强大的诊断和调试工具。此外,proc 文件系统还支持实时读取和修改某些内核参数,增强了系统的灵活性和可配置性。 ... [详细]
  • 优化后的标题:利用YUM高效安装与管理MySQL数据库环境 ... [详细]
  • 优化Oracle数据库日志功能的关闭方法与实践
    在优化Oracle数据库日志功能的过程中,关闭不必要的日志记录是一项重要任务。本文探讨了Oracle 11g中日志路径的配置和管理,特别是针对常用的警报日志(alert log)。通过合理配置 `alert_$ORACLE_SID.log` 文件,可以有效减少日志文件的大小和提高系统性能。此外,文章还介绍了如何通过调整参数和使用脚本自动化日志管理,进一步提升数据库的稳定性和维护效率。 ... [详细]
  • PHP连接MySQL的三种方法及预处理语句防止SQL注入的技术详解
    PHP连接MySQL的三种方法及预处理语句防止SQL注入的技术详解 ... [详细]
  • 深入解析Wget CVE-2016-4971漏洞的利用方法与安全防范措施
    ### 摘要Wget 是一个广泛使用的命令行工具,用于从 Web 服务器下载文件。CVE-2016-4971 漏洞涉及 Wget 在处理特定 HTTP 响应头时的缺陷,可能导致远程代码执行。本文详细分析了该漏洞的成因、利用方法以及相应的安全防范措施,包括更新 Wget 版本、配置防火墙规则和使用安全的 HTTP 头。通过这些措施,可以有效防止潜在的安全威胁。 ... [详细]
  • 探讨 jBPM 数据库表结构设计的精要与实践
    探讨 jBPM 数据库表结构设计的精要与实践 ... [详细]
  • Select2.js下拉框应用总结与实践要点
    在使用Select2.js下拉框插件的过程中,积累了诸多实践经验与心得。尽管最初觉得Select2在某些方面不尽如人意,但在对比了其他选项后,发现其仍是最优选择。本文将详细探讨Select2.js的配置、优化技巧及常见问题解决方法,帮助开发者更好地利用这一强大的前端工具。 ... [详细]
author-avatar
蜡笔小新11953150
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有