热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

MLlearning(2)——simHash算法

这篇文章主要讲simHash算法。这是一种LSH(Locality-SensitiveHashing,局部敏感哈希)的简单实现。它是广泛用于数据去重的算法,可以用于相似网站、图片的

  这篇文章主要讲simHash算法。这是一种LSH(Locality-Sensitive Hashing,局部敏感哈希)的简单实现。它是广泛用于数据去重的算法,可以用于相似网站、图片的检索。而且当两个样本差别并不大时,算法仍能起效。值得一提的是,该算法的时空复杂度不存在与维度有关的项,所以不会遭遇维度灾难,也可以在维数较高时优化kNN算法。

特征

  此算法(LSH)具有双重性,它们似乎是相悖的:

  • 对于几组不同的特征,hash相同(即冲突)的可能性要尽可能小。这也是hash基本的特征。
  • 对于几组相似的特征(即特征空间中距离小)的特征,hash相同或相似的可能性要尽可能大。这是LSH所具有的特征。

simHash实现

  simHash是LSH的其中一种对于字符串的简单实现。操作步骤如下:

  • 定义一个数代表hash,数的二进制位数可选,一般选择32bit或64bit。同时定义一个与该数位数相同的整形向量v。
  • 分割输入字符串,可以按字符数分割,也可以按空格分割。
  • 对于每个分割出来的字符串做普通hash,记hash出的值为k。约定num[i]代表num的第i位的二进制值。则对k的每位i,若k[i]>0,则v[i]+=weight,否则v[i]-=weight,weight代表该子串的权值。
  • 对于向量v的每一项,若该项大于0,则simHash的相应位置1,否则置0

  这样就可以得出一个字符串的simHash值,时间复杂度为O(|s|)。

子串相似判定

  定义两个字符串相似,即|hammingDist(simHash(str1),simHash(str2))|<=k,k是最大容忍的不同位数,hammingDist为计算两个整数海明距离的函数。海明距离即为两个整数二进制中编码不同的位数。

  根据经验,k一般取3。而海明距离的计算有一种快速的方法,给出C的实现。这种统计二进制中1的个数的算法叫平行算法,本文不再详述。

static int bitCount(unsigned int n){
    n=(n &0x55555555)+((n>>1)&0x55555555);
    n=(n &0x33333333)+((n>>2)&0x33333333);
    n=(n &0x0f0f0f0f)+((n>>4)&0x0f0f0f0f);
    n=(n &0x00ff00ff)+((n>>8)&0x00ff00ff);
    n=(n &0x0000ffff)+((n>>16)&0x0000ffff);
    return n;
}

int hammingDist(unsigned int a,unsigned int b){
    return bitCount(a^b);
}

查找工作

  查找新元素与已知集元素是否相似有两种方法。

  1. 时间复杂度为O(N)——线性查找算法
  2. 时间复杂度为O([C(3,32)+C(2,32)+C(1,32)]k)=O(5488k)——组合算法。

  光算出simHash值并没有太大的作用,因为判断新元素与已知集的中元素是否相似仍需较长的时间。尤其是数据量很大的时候。这时可以用一定的预处理算法优化第一种算法。

  假设k=3。优化的方法如下,将32bit或64bit(下文以32bit为例)的hash值平均分为4段。根据抽屉原理,两个字符串的hash中必有1段中没有不同的位。于是可以将每个元素hash的4个8bit作为键均预存储到表中,值为hash的完整值。查找时,只需比较新字符串hash的4个8bit表中的所有完整hash并判断海明距离是否小于等于3。这样优化后,时间复杂度降至O(4k)=O(4*n/(2^9-1))≈O(n/128),虽然仍为线性复杂度,但已经快了不少。

整体实现

  整个simHash系统的实现(C++版本)我已开源至github:https://github.com/Darksun2010/MLlearning/tree/master/LSH

MLlearning(2)——simHash算法


推荐阅读
  • 本文详细介绍了如何利用Duilib界面库开发窗体动画效果,包括基本思路和技术细节。这些方法不仅适用于Duilib,还可以扩展到其他类似的界面开发工具。 ... [详细]
  • 在 LeetCode 的“有效回文串 II”问题中,给定一个非空字符串 `s`,允许删除最多一个字符。本篇深入解析了如何判断删除一个字符后,字符串是否能成为回文串,并提出了高效的优化算法。通过详细的分析和代码实现,本文提供了多种解决方案,帮助读者更好地理解和应用这一算法。 ... [详细]
  • LDAP服务器配置与管理
    本文介绍如何通过安装和配置SSSD服务来统一管理用户账户信息,并实现其他系统的登录调用。通过图形化交互界面配置LDAP服务器,确保用户账户信息的集中管理和安全访问。 ... [详细]
  • 如果应用程序经常播放密集、急促而又短暂的音效(如游戏音效)那么使用MediaPlayer显得有些不太适合了。因为MediaPlayer存在如下缺点:1)延时时间较长,且资源占用率高 ... [详细]
  • 网络爬虫的规范与限制
    本文探讨了网络爬虫引发的问题及其解决方案,重点介绍了Robots协议的作用和使用方法,旨在为网络爬虫的合理使用提供指导。 ... [详细]
  • [c++基础]STL
    cppfig15_10.cppincludeincludeusingnamespacestd;templatevoidprintVector(constvector&integer ... [详细]
  • ZooKeeper 入门指南
    本文将详细介绍ZooKeeper的工作机制、特点、数据结构以及常见的应用场景,包括统一命名服务、统一配置管理、统一集群管理、服务器动态上下线和软负载均衡。 ... [详细]
  • 自动验证时页面显示问题的解决方法
    在使用自动验证功能时,页面未能正确显示错误信息。通过使用 `dump($info->getError())` 可以帮助诊断和解决问题。 ... [详细]
  • 网站访问全流程解析
    本文详细介绍了从用户在浏览器中输入一个域名(如www.yy.com)到页面完全展示的整个过程,包括DNS解析、TCP连接、请求响应等多个步骤。 ... [详细]
  • 解决Parallels Desktop错误15265的方法
    本文详细介绍了在使用Parallels Desktop时遇到错误15265的多种解决方案,包括检查网络连接、关闭代理服务器和修改主机文件等步骤。 ... [详细]
  • 解决 Windows Server 2016 网络连接问题
    本文详细介绍了如何解决 Windows Server 2016 在使用无线网络 (WLAN) 和有线网络 (以太网) 时遇到的连接问题。包括添加必要的功能和安装正确的驱动程序。 ... [详细]
  • 使用Jsoup解析并遍历HTML文档时,该库能够高效地生成一个清晰、规范的解析树,即使源HTML文档存在格式问题。Jsoup具备强大的容错能力,能够处理多种异常情况,如未闭合的标签等,确保解析结果的准确性和完整性。 ... [详细]
  • CentOS 7 中 iptables 过滤表实例与 NAT 表应用详解
    在 CentOS 7 系统中,iptables 的过滤表和 NAT 表具有重要的应用价值。本文通过具体实例详细介绍了如何配置 iptables 的过滤表,包括编写脚本文件 `/usr/local/sbin/iptables.sh`,并使用 `iptables -F` 清空现有规则。此外,还深入探讨了 NAT 表的配置方法,帮助读者更好地理解和应用这些网络防火墙技术。 ... [详细]
  • 在使用Eclipse进行调试时,如果遇到未解析的断点(unresolved breakpoint)并显示“未加载符号表,请使用‘file’命令加载目标文件以进行调试”的错误提示,这通常是因为调试器未能正确加载符号表。解决此问题的方法是通过GDB的`file`命令手动加载目标文件,以便调试器能够识别和解析断点。具体操作为在GDB命令行中输入 `(gdb) file `。这一步骤确保了调试环境能够正确访问和解析程序中的符号信息,从而实现有效的调试。 ... [详细]
  • 系统数据实体验证异常:多个实体验证失败的错误处理与分析
    在使用MVC和EF框架进行数据保存时,遇到了 `System.Data.Entity.Validation.DbEntityValidationException` 错误,表明存在一个或多个实体验证失败的情况。本文详细分析了该错误的成因,并提出了有效的处理方法,包括检查实体属性的约束条件、调试日志的使用以及优化数据验证逻辑,以确保数据的一致性和完整性。 ... [详细]
author-avatar
朱森博其实一直在想你
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有