热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

数据结构与算法:HyperLogLog统计、布隆过滤器应用、缓存机制挑战及解决方案、Redis性能优化与监控、哨兵模式、版本控制工具Git

本文探讨了数据结构与算法在实际应用中的多个方面。首先介绍了HyperLogLog算法,用于高效地进行基数统计,能够准确估算大规模数据集中的唯一元素数量。接着讨论了布隆过滤器的应用,该过滤器在空间效率和查询速度上具有显著优势,适用于大数据场景下的快速成员检测。此外,文章分析了缓存机制面临的挑战及其解决方案,包括LRU和LFU等策略,并详细阐述了Redis的性能优化与监控方法,如使用哨兵模式实现高可用性。最后,介绍了版本控制工具Git的基本操作和最佳实践,帮助开发者有效管理代码版本。

1.基数统计算法 HyperLogLog

不重复的统计哦
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
开启并查看服务器(shutdown 关机 、 exit 退出服务器)
在这里插入图片描述
role 命令查看自己得角色
在这里插入图片描述
端口连接:
在这里插入图片描述
找到主机角色,才可以写入哦
在这里插入图片描述

它只有三个命令:
在这里插入图片描述
三个命令实例:
都去重的哦
在这里插入图片描述


2. 布隆过滤器 (需要以模块方式引入哦! 首先用git 下载)

在这里插入图片描述
在这里插入图片描述

安装
在这里插入图片描述
启动
在这里插入图片描述
连接一下:
在这里插入图片描述
bf 一下验证import成功
在这里插入图片描述

命令如下:
在这里插入图片描述

实例添加 bf
在这里插入图片描述
bf madd 一次添加多个
在这里插入图片描述
一次判断多个是否存在
在这里插入图片描述
**bf.reserve key 错误率 元素存储大小 共三个参数
在这里插入图片描述
第三个参数大小会使得准确率下降

使用场景可以是 url 的去重等

###processon 画图软件, 我自己下载下。###


3. 缓存雪崩 、缓存穿透

3.1缓存雪崩

在这里插入图片描述
**解决方案是:



  1. 设置失效时间随机,保证同一时刻不要有大量缓存失效。

  2. 主从和集群**
    在这里插入图片描述

3.2缓存穿透
如:postman 异常查询条件导致

在这里插入图片描述
解决方案:
1.后端验证
2.使用布隆过滤器(布隆过滤器没有的话,数据库里一定没有)
3. id=-1 空值
在这里插入图片描述
3.3缓存击穿
一个热点key,在某一个时刻失效,所有用户都请求这个key,导致这个key崩。
如热搜。

在这里插入图片描述
解决方案:
1.mysql 数据库中加锁,不让所有人同时请求这个key,要排队。
2. 让热点key 永不过期。 过期才会打到数据库,做热点的缓存。

原理自己看雀语。


总结:hyperLogLog 和布隆过滤器都是解决缓存穿透


4.内存淘汰策略

两种方法


5. redis 性能测试

在这里插入图片描述
很多的命令格式
在这里插入图片描述
每秒处理的存取量测试
在这里插入图片描述
看看用和不用管道的吞吐量区别
竟然差10倍, 管道效率真的高。
在这里插入图片描述


6. Redis 慢查询

测试调试时用吧, 正式发布后,就别了。
具体在这里插入图片描述
具体命令看手册!

10000是微妙单位
128条记录
在这里插入图片描述
than 0 是每一条后面的指令都会被记录
在这里插入图片描述
注意 ls -a 查看所有文件,包含隐藏文件。
:wq 保存退出


7.哨兵

自动故障转移
在这里插入图片描述
如果 A 挂了。BC就没用了。
我们该做什么? 把其中一个从机变成主机。这是手动操作。
但是如果晚上呢? 人值班?
所以用哨兵,监督redis主服务器 ,并将BC中一个挑选一个作为主机,自动来容灾恢复。
在这里插入图片描述
一主二从配置和运行效果
在这里插入图片描述

主机进程号 14455 被kill
在这里插入图片描述
看看哨兵反应
6377变成了6379的master身份,因为6379挂了。
在这里插入图片描述

就是做了以下的工作。其实也可以配置多个哨兵
在这里插入图片描述

再看看插图插曲
在这里插入图片描述


8. 初始Git

在这里插入图片描述
如果没有分布式,则中心一挂,就完蛋, 所以有了git ,保证了中心有问题,也不会完蛋。
在这里插入图片描述
做版本控制,有利于出问题时回滚。
在这里插入图片描述


推荐阅读
  • ZooKeeper集群脑裂问题及其解决方案
    本文深入探讨了ZooKeeper集群中可能出现的脑裂问题,分析其成因,并提供了多种有效的解决方案,确保集群在高可用性环境下的稳定运行。 ... [详细]
  • 本文深入探讨了SQL数据库中常见的面试问题,包括如何获取自增字段的当前值、防止SQL注入的方法、游标的作用与使用、索引的形式及其优缺点,以及事务和存储过程的概念。通过详细的解答和示例,帮助读者更好地理解和应对这些技术问题。 ... [详细]
  • 网络出版服务许可证申请指南
    本文详细介绍了网络出版服务许可证的办理条件、适用企业范围及具体流程,帮助相关企业和个人了解并顺利完成许可证的申请。文章由专业机构提供,旨在为读者解答在互联网出版领域遇到的技术和合规问题。 ... [详细]
  • 全面解析运维监控:白盒与黑盒监控及四大黄金指标
    本文深入探讨了白盒和黑盒监控的概念,以及它们在系统监控中的应用。通过详细分析基础监控和业务监控的不同采集方法,结合四个黄金指标的解读,帮助读者更好地理解和实施有效的监控策略。 ... [详细]
  • 简化报表生成:EasyReport工具的全面解析
    本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]
  • 历经三十年的开发,Mathematica 已成为技术计算领域的标杆,为全球的技术创新者、教育工作者、学生及其他用户提供了一个领先的计算平台。最新版本 Mathematica 12.3.1 增加了多项核心语言、数学计算、可视化和图形处理的新功能。 ... [详细]
  • 深入解析Serverless架构模式
    本文将详细介绍Serverless架构模式的核心概念、工作原理及其优势。通过对比传统架构,探讨Serverless如何简化应用开发与运维流程,并介绍当前主流的Serverless平台。 ... [详细]
  • 如何使用Ping命令来测试网络连接?当网卡安装和有关参数配置完成后,可以使用ping命令来测试一下网络是否连接成功。以winXP为例1、打开XP下DOS窗口具体操作是点击“开始”菜 ... [详细]
  • 1.执行sqlsever存储过程,消息:SQLServer阻止了对组件“AdHocDistributedQueries”的STATEMENT“OpenRowsetOpenDatas ... [详细]
  • 离线安装Grafana Cloudera Manager插件并监控CDH集群
    本文详细介绍如何离线安装Cloudera Manager (CM) 插件,并通过Grafana监控CDH集群的健康状况和资源使用情况。该插件利用CM提供的API接口进行数据获取和展示。 ... [详细]
  • ThinkPHP 数据库配置详解
    本文详细介绍了如何在 ThinkPHP 框架中正确配置数据库连接参数,包括数据库类型、服务器地址、数据库名称等关键配置项。 ... [详细]
  • Python + Pytest 接口自动化测试中 Token 关联登录的实现方法
    本文将深入探讨 Python 和 Pytest 在接口自动化测试中如何实现 Token 关联登录,内容详尽、逻辑清晰,旨在帮助读者掌握这一关键技能。 ... [详细]
  • Python 工具推荐 | PyHubWeekly 第二十一期:提升命令行体验的五大工具
    本期 PyHubWeekly 为大家精选了 GitHub 上五个优秀的 Python 工具,涵盖金融数据可视化、终端美化、国际化支持、图像增强和远程 Shell 环境配置。欢迎关注并参与项目。 ... [详细]
  • 本文介绍了解决Oracle 10G数据库中ORA-12541 TNS: no listener错误的详细步骤。该错误通常发生在监听器服务未正确启动或配置不当的情况下,文章将指导您通过检查服务状态、配置注册表和启动监听器来解决问题。 ... [详细]
  • 版本控制工具——Git常用操作(下)
    本文由云+社区发表作者:工程师小熊摘要:上一集我们一起入门学习了git的基本概念和git常用的操作,包括提交和同步代码、使用分支、出现代码冲突的解决办法、紧急保存现场和恢复 ... [详细]
author-avatar
蜡笔小新11953150
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有