首页
技术博客
PHP教程
数据库技术
前端开发
HTML5
Nginx
php论坛
新用户注册
|
会员登录
PHP教程
技术博客
编程问答
PNG素材
编程语言
前端技术
Android
PHP教程
HTML5教程
数据库
Linux技术
Nginx技术
PHP安全
WebSerer
职场攻略
JavaScript
开放平台
业界资讯
大话程序猿
登录
极速注册
取消
热门标签 | HotTags
数据挖掘
深度
ocr
人工智能
算法
nlp
svm
深度学习
tensorflow
图像识别
机器学习
自动驾驶
自然语言处理
pytorch
神经网络
人脸识别
机器人
当前位置:
开发笔记
>
人工智能
> 正文
局部线性嵌入LLE算法学习笔记
作者:幸福蜗牛yeshi牛 | 来源:互联网 | 2023-08-27 13:57
流形学习是一大类基于流形的框架,形象说明流形降维:ISOMAP(更多细节可参考:isomap降维算法--学习笔记_Wsyoneself的博
流形学习是一大类基于流形的框架,形象说明流形降维:
ISOMAP(更多细节可参考:isomap降维算法--学习笔记_Wsyoneself的博客-CSDN博客):
LLE:
和传统的PCA,LDA等关注样本方差的降维方法相比,LLE关注于降维时保持样本局部的线性特征,由于LLE在降维时保持了样本的局部特征,它广泛的用于图像图像识别,高维数据可视化等领域。
LLE属于流形学习(Manifold Learning)的一种。数学意义上的流形比较抽象,不过可以认为LLE中的流形是一个
不闭合的曲面
。这个流形
曲面有数据分布比较均匀,且比较稠密的特征
,有点像流水的味道。基于流行的降维算法就是将流形从高维到低维的降维过程,在降维的过程中
希望流形在高维的一些特征可以得到保留
。
数据特征的方法有很多种,不同的保持方法对应不同的流形算法。比如等距映射(ISOMAP)算法在降维后希望保持样本之间的测地距离而不是欧式距离,因为测地距离更能反映样本之间在流形中的真实距离。但是等距映射算法有一个问题就是他要找所有样本全局的最优解,当数据量很大,样本维度很高时,计算非常的耗时,鉴于这个问题,LLE通过放弃所有样本全局最优的降维,只是
通过保证局部最优来降维
。同时假设样本集在局部是满足线性关系的,进一步减少的降维的计算量。
LLE的算法思想:
首先假设数据在较小的局部是线性的,也就是说,某一个数据可以由它邻域中的几个样本来线性表示。比如有一个样本x1,在它的原始高维邻域里用K-近邻思想找到和它最近的三个样本x2,x3,x4. 然后假设x1可以由x2,x3,x4线性表示,即:x1=w_12 x2+w_13 x3+w_14 x4(其中,w12,w13,w14为权重系数)。在通过LLE降维后,希望x1在低维空间对应的投影x′1和x2,x3,x4对应的投影x′2,x′3,x′4也尽量保持同样的线性关系,即x′1≈w_12x′2+w_13x′3+w_14x′4,即投影前后线性关系的权重系数w_12,w_13,w_14是尽量不变或者最小改变的。
从上面可以看出,线性关系只在样本的附近起作用,离样本远的样本对局部的线性关系没有影响,因此降维的复杂度降低了很多。
具体实现:
首先要确定邻域大小的选择,即需要多少个邻域样本来线性表示某个样本。假设这个值为k。可以通过和KNN一样的思想通过距离度量比如欧式距离来选择某样本的k个最近邻。
在寻找到某个样本的xi的k个最近邻之后就需要找到找到xi和这k个最近邻之间的线性关系,也就是要找到线性关系的权重系数。找线性关系,这显然是一个回归问题。假设有m个n维样本{x1,x2,...,xm},可以用均方差作为回归问题的损失函数:
其中,Q(i)Q(i)表示ii的k个近邻样本集合。一般也会对权重系数wijwij做归一化的限制,即
,对于不在样本xixi邻域内的样本xjxj,令对应的wij=0wij=0,这样可以把ww扩展到整个数据集的维度。一般可以通过矩阵和拉格朗日子乘法来求解这个最优化问题。
对于第一个式子,先将其矩阵化:
总结整个LLE算法(主要分三步):
求K近邻的过程,这个过程使用了和KNN算法一样的求最近邻的方法。
对每个样本求它在邻域里的K个近邻的线性关系,得到线性关系权重系数W。
利用权重系数来在低维里重构样本数据。
具体过程:
总结分析:LLE是广泛使用的图形图像降维方法,它实现简单,但是对数据的流形分布特征有严格的要求。比如不能是闭合流形,不能是稀疏的数据集,不能是分布不均匀的数据集等等,这限制了它的应用。下面总结下LLE算法的优缺点。
主要优点有:
可以学习任意维的局部线性的低维流形
算法归结为稀疏矩阵特征分解,计算复杂度相对较小,实现容易。
主要缺点有:
算法所学习的流形只能是不闭合的,且样本集是稠密均匀的。
算法对最近邻样本数的选择敏感,不同的最近邻数对最后的降维结果有很大影响。
算法
图像识别
扩展
写下你的评论吧 !
吐个槽吧,看都看了
会员登录
|
用户注册
推荐阅读
算法
云原生边缘计算之KubeEdge简介及功能特点
本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ...
[详细]
蜡笔小新 2023-12-14 16:49:01
神经网络
浏览器中的异常检测算法及其在深度学习中的应用
本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ...
[详细]
蜡笔小新 2023-12-12 16:22:39
机器人
「爆干7天7夜」入门AI人工智能学习路线一条龙,真的不能再透彻了
前言应广大粉丝要求,今天迪迦来和大家讲解一下如何去入门人工智能,也算是迪迦对自己学习人工智能这么多年的一个总结吧,本条学习路线并不会那么 ...
[详细]
蜡笔小新 2023-10-16 12:17:31
神经网络
鄂维南:从数学角度,理解机器学习的「黑魔法」,并应用于更广泛的科学问题...
作者|Hertz来源|科学智能AISI北京时间2022年7月8日晚上22:30,鄂维南院士在2022年的国际数学家大会上作一小时大会报告(plenarytalk)。今 ...
[详细]
蜡笔小新 2023-10-15 23:41:17
神经网络
分享篇:第十届“泰迪杯”数据挖掘挑战赛农田害虫图像识别(特等奖)一
1.1赛题背景昆虫的种类浩如烟海,农田常见的昆虫是人工生态系统的重要组成部分。分辨益虫和害虫,保留益虫,消灭害虫,对于减轻害 ...
[详细]
蜡笔小新 2023-10-15 19:37:42
人脸识别
基于深度学习的遥感应用
文章目录深度学习的发展过程深度学习在遥感中的应用基于深度学习的遥感样例库建设基于深度学习的遥感影像目标及场景检索基于深度学习的建筑物提取基于深度学习的密集建筑物自动检测基于深度学习 ...
[详细]
蜡笔小新 2023-10-15 18:33:51
人脸识别
开源真香 离线识别率高 Python 人脸识别系统
本文主要介绍关于python,人工智能,计算机视觉的知识点,对【开源真香离线识别率高Python人脸识别系统】和【】有兴趣的朋友可以看下由【000X000】投稿的技术文章,希望该技术和经验能帮到 ...
[详细]
蜡笔小新 2023-10-14 15:43:38
图像识别
【观察】中国产业AI化的破局之路:加速算力释放与生态合作共赢
申耀的科技观察读懂科技,赢取未来!电影《斗士》中,有这么一句台词令人印象深刻:“知道路要怎么走,和走上这条路& ...
[详细]
蜡笔小新 2023-10-14 15:32:28
图像识别
数仓面试,数据分析中异常值检测算法?
这一节来讲下关于数据分析中,异常数据识别的几种算法:k-m ...
[详细]
蜡笔小新 2023-10-14 12:45:30
图像识别
老电影和图片变清晰的秘密!分辨率提升400%的AI算法
老电影和图片变清晰的秘密!分辨率提升400%的AI算法-如上图,从100x133pix→400x532pix,除了肉眼可见的清晰,拥有可以将分辨率提升400%的技术到底意味着什么 ...
[详细]
蜡笔小新 2023-10-13 13:06:20
自动驾驶
阿里造自动驾驶“夜视镜”,ISP处理器夜间图像识别精准率提升10%
如何解决自动驾驶车辆在夜里的“夜盲症”是许多业内人士一直在努力的方向。4月8日,雷锋网(公众号:雷锋网)获悉,阿里巴巴达摩院就解决自动驾驶车辆“夜盲”问题有所突破。据了解,达摩院自 ...
[详细]
蜡笔小新 2023-10-13 10:00:06
神经网络
分类与聚类
一:分类1:定义分类其实是从特定的数据中挖掘模式,做出判断的过程。分类是在一群已经知道类别标号的样本中,训练一种分类器 ...
[详细]
蜡笔小新 2023-10-13 05:29:06
神经网络
文章阅读记录
20180717不要人工智能,用SQL就够了BP神经网络与模糊神经网络在空气质量评价中的应用如何用Tensorflow.js部署简单的AI图像识别应用2018 ...
[详细]
蜡笔小新 2023-10-12 20:15:49
神经网络
快过HugeCTR:用OneFlow轻松实现大型推荐系统引擎
一、简介Wide&DeepLearning(以下简称WDL)是解决点击率预估(CTRPrediction) ...
[详细]
蜡笔小新 2023-10-12 16:08:17
图像识别
加工|机床_工业4.0 资产管理壳学习笔记应用场景与架构
篇首语:本文由编程笔记#小编为大家整理,主要介绍了工业4.0资产管理壳学习笔记-应用场景与架构相关的知识,希望对你有一定的参考价值。 资产管理壳ÿ ...
[详细]
蜡笔小新 2023-10-12 14:40:51
幸福蜗牛yeshi牛
这个家伙很懒,什么也没留下!
Tags | 热门标签
数据挖掘
深度
ocr
人工智能
算法
nlp
svm
深度学习
tensorflow
图像识别
机器学习
自动驾驶
自然语言处理
pytorch
神经网络
人脸识别
机器人
RankList | 热门文章
1
SQL Server 2012中Task是如何调度的?
2
SQL 必知必会笔记6使用数据处理函数
3
优化数据库之前的10个问题
4
SQL 复制订阅 异常后 强制删除
5
使用 Hive 构建数据仓库
6
SQLSERVER中的ALL、PERCENT、CUBE关键字和GROUPING函数
7
07. 分页写法小结
8
使用作业定时压缩数据库
9
SQL Server内存数据写入磁盘方法比较
10
sqlserver中 事务和锁 的基础概念总结
11
数据库处理大量的数据方法
12
索引失效的原因
13
Select * 一定不走索引是否正确?
14
sql语句记录
15
SqlServer2008R2用Windows身份登录18456错误解决
PHP1.CN | 中国最专业的PHP中文社区 |
DevBox开发工具箱
|
json解析格式化
|
PHP资讯
|
PHP教程
|
数据库技术
|
服务器技术
|
前端开发技术
|
PHP框架
|
开发工具
|
在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved |
京公网安备 11010802041100号
|
京ICP备19059560号-4
| PHP1.CN 第一PHP社区 版权所有