热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Go语言实现布隆过滤器

1布隆过滤器原理布隆过滤器一般用来判断一个数据是否在一个很大的数据集合里面。当然可以用数组,集合,树等数据结构和各种查找法都可以做同样的

1 布隆过滤器原理

布隆过滤器一般用来判断一个数据是否在一个很大的数据集合里面。当然可以用数组,集合,树等数据结构和各种查找法都可以做同样的事情,但是布隆过滤器有更好的时间效率和空间效率。比特币实现SPV节点时使用了布隆过滤器来查询交易。布隆过滤器可以判断一个数在不在集合里,但存在一定的误判率。

布隆过滤器的核心是一个超大的位数组和几个哈希函数。假设位数组的长度为m,哈希函数的个数为k。

 

以上图为例,在这里维数组长度为18,哈希函数个数为3个。首先将维数组所有位全部置0。集合中有的3个数据x,y,z,通过3个哈希函数对每一个数据进行计算,得到该数据的哈希值,这个哈希值对应维数组上面的一个点,然后将对应位数组的位置1。这样3个数据会生成9个点。对于另外一个数据w,查询它 在不在集合中的方法是对w通过3个哈希函数映射到位数组上,判断3个映射位置是否为1。只要有一个位置为0,就能说明w一定不在集合中。反之如果3个点都为1,则说明这个元素可能在集合中。此处不能判断元素一定在集合中,因为存在一定的误判率。比如对于上图中的4,5,6这3个位置都为1,但是它是不同的数据映射到的点。如果有一个数据刚好映射到这3个位置,虽然它不在集合中,但是我们也会误判它。

添加元素

  • 将要添加的元素给k个哈希函数进行计算
  • 得到位于位数组上面的k个位置
  • 将位数组上对应位置1

查询元素

  • 将要查询的元素给k个哈希函数
  • 得到对应于位数组上的k个位置
  • 如果k个位置有一个为0,则肯定不在集合中
  • 如果k个位置全部为1,则可能在集合中

2 go语言实现

package main
import (
"github.com/willf/bitset"
"fmt"
)
const DEFAULT_SIZE &#61; 2<<24
var seeds &#61; []uint{
7, 11, 13, 31, 37, 61}
type BloomFilter struct {
set *bitset.BitSet
funcs [6]SimpleHash
}
func NewBloomFilter() *BloomFilter {
bf :&#61; new(BloomFilter)
for i:&#61;0;i bf.funcs[i] &#61; SimpleHash{
DEFAULT_SIZE,seeds[i]}
}
bf.set &#61; bitset.New(DEFAULT_SIZE)
return bf
}
func (bf BloomFilter) add(value string){
for _,f:&#61;range(bf.funcs){
bf.set.Set(f.hash(value))
}
}
func (bf BloomFilter) contains(value string) bool {
if(value &#61;&#61; ""){
return false
}
ret :&#61; true
for _,f:&#61;range(bf.funcs){
ret &#61; ret && bf.set.Test(f.hash(value))
}
return ret
}

type SimpleHash struct{
cap uint
seed uint
}
func (s SimpleHash) hash(value string) uint{
var result uint &#61; 0
for i:&#61;0;i result &#61; result*s.seed&#43;uint(value[i])
}
return (s.cap-1)&result
}
func main(){
filter :&#61; NewBloomFilter()
fmt.Println(filter.funcs[1].seed)
str1 :&#61; "hello,bloom filter!"
filter.add(str1)
str2 :&#61; "A happy day"
filter.add(str2)
str3 :&#61; "Greate wall"
filter.add(str3)
fmt.Println(filter.contains(str1))
fmt.Println(filter.contains(str2))
fmt.Println(filter.contains(str3))
fmt.Println(filter.contains("blockchain technology"))
}

这里位数组用了一个第三方的bitset库&#xff0c;见github&#xff1a;github.com/willf/bitset

打印结果&#xff1a;

11
true
true
true
false

推荐阅读
  • 深入解析Java枚举及其高级特性
    本文详细介绍了Java枚举的概念、语法、使用规则和应用场景,并探讨了其在实际编程中的高级应用。所有相关内容已收录于GitHub仓库[JavaLearningmanual](https://github.com/Ziphtracks/JavaLearningmanual),欢迎Star并持续关注。 ... [详细]
  • 本题来自WC2014,题目编号为BZOJ3435、洛谷P3920和UOJ55。该问题描述了一棵不断生长的带权树及其节点上小精灵之间的友谊关系,要求实时计算每次新增节点后树上所有可能的朋友对数。 ... [详细]
  • 本文探讨了如何在Classic ASP中实现与PHP的hash_hmac('SHA256', $message, pack('H*', $secret))函数等效的哈希生成方法。通过分析不同实现方式及其产生的差异,提供了一种使用Microsoft .NET Framework的解决方案。 ... [详细]
  • Coursera ML 机器学习
    2019独角兽企业重金招聘Python工程师标准线性回归算法计算过程CostFunction梯度下降算法多变量回归![选择特征](https:static.oschina.n ... [详细]
  • 基于Node.js、Express、MongoDB和Socket.io的实时聊天应用开发
    本文详细介绍了使用Node.js、Express、MongoDB和Socket.io构建的实时聊天应用程序。涵盖项目结构、技术栈选择及关键依赖项的配置。 ... [详细]
  • #print(34or4 ... [详细]
  • 在编译BSP包过程中,遇到了一个与 'gets' 函数相关的编译错误。该问题通常发生在较新的编译环境中,由于 'gets' 函数已被弃用并视为安全漏洞。本文将详细介绍如何通过修改源代码和配置文件来解决这一问题。 ... [详细]
  • 深入解析 Android IPC 中的 Messenger 机制
    本文详细介绍了 Android 中基于消息传递的进程间通信(IPC)机制——Messenger。通过实例和源码分析,帮助开发者更好地理解和使用这一高效的通信工具。 ... [详细]
  • Python自动化测试入门:Selenium环境搭建
    本文详细介绍如何在Python环境中安装和配置Selenium,包括开发工具PyCharm的安装、Python环境的设置以及Selenium包的安装方法。此外,还提供了编写和运行第一个自动化测试脚本的步骤。 ... [详细]
  • 本文介绍了如何使用JFreeChart库创建一个美观且功能丰富的环形图。通过设置主题、字体和颜色等属性,可以生成符合特定需求的图表。 ... [详细]
  • 本文详细介绍了Java中的注解功能,包括如何定义注解类型、设置注解的应用范围及生命周期,并通过具体示例展示了如何利用反射机制访问注解信息。 ... [详细]
  • 探讨在使用 Fast-Android-Networking 库时遇到的 addStringBody 方法无法正常工作的问题及其解决方案。 ... [详细]
  • 本文详细介绍了Java集合框架中的Collection体系,包括集合的基本概念及其与数组的区别。同时,深入探讨了Comparable和Comparator接口的区别,并分析了各种集合类的底层数据结构。最后,提供了如何根据需求选择合适的集合类的指导。 ... [详细]
  • Go语言以其简洁的语法和强大的并发处理能力而闻名,特别是在云计算和分布式计算领域有着广泛的应用。本文将深入探讨Go语言中的Channel机制,包括其不同类型及其在实际编程中的应用。 ... [详细]
  • 本文探讨如何利用Java反射技术来模拟Webwork框架中的URL解析过程。通过这一实践,读者可以更好地理解Webwork及其后续版本Struts2的工作原理,尤其是它们在MVC架构下的角色。 ... [详细]
author-avatar
我是一颗菠菜
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有