热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

数据分析降维LDA和PCA

一、因子分析因子分析是将具有错综复杂关系的变量(或样本)综合为少数几个因子,以再现原始变量和因子之间的相互关系,探讨多个能够直接测量,并且具有一定相关性的实测指标是如何受少数几个内

一、因子分析

  因子分析是将具有错综复杂关系的变量(或样本)综合为少数几个因子,以再现原始变量和因子之间的相互关系,探讨多个能够直接测量,并且具有一定相关性的实测指标是如何受少数几个内在的独立因子所支配,并且在条件许可时借此尝试对变量进行分类。

  因子分析的基本思想

  根据变量间相关性的大小把变量分组,使得同组内的变量之间的相关性(共性)较高,并用一个公共因子来代表这个组的变量,而不同组的变量相关性较低(个性)。

  因子分析的目的,通俗来讲就是简化变量维数。即要使因素结构简单化,希望以最少的共同因素(公共因子),能对总变异量作最大的解释,因而抽取得因子越少越好,但抽取的因子的累积解释的变异量越大越好。

  主要内容:

  (1):主成分分析 PCA

  (2):线性判别分析  LDA

 

二、主成分分析 PCA 

  1、PCA

  英语全称:Principal Component Analysis

  用途:降维中最常用的一种手段
  目标:提取最有价值的信息(基于方差)
  问题:降维后的数据的意义?

  2、向量的表示及基变换

  内积:       数据分析--降维--LDA和PCA

  解释:    数据分析--降维--LDA和PCA

  设向量B的模为1,则A与B的内积值等于A向B所在直线投影的矢量长度

          数据分析--降维--LDA和PCA

  

  向量可以表示为(3,2)实际上表示线性组合:

          数据分析--降维--LDA和PCA

 

  基:(1,0)和(0,1)叫做二维空间中的一组基

          数据分析--降维--LDA和PCA

  基变换

  基是正交的(即内积为0,或直观说相互垂直)
  要求:线性无关

          数据分析--降维--LDA和PCA

  变换:  数据与一个基做内积运算,结果作为第一个新的坐标分量,然后与第二个基做内积运算,结果作为第二个新坐标的分量

  数据(3,2)映射到基中坐标:    数据分析--降维--LDA和PCA

          数据分析--降维--LDA和PCA  

  两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去

  协方差矩阵

  方向:如何选择这个方向(或者说基)才能尽量保留最多的原始信息呢?
  一种直观的看法是:希望投影后的投影值尽可能分散

  方差 :  数据分析--降维--LDA和PCA

  寻找一个一维基,使得所有数据变换为这个基上的坐标表示后,方差值最大  

  协方差(假设均值为0时): 数据分析--降维--LDA和PCA

  协方差

  如果单纯只选择方差最大的方向,后续方向应该会和方差最大的方向接近重合。
  解决方案:为了让两个字段尽可能表示更多的原始信息,我们是不希望它们之间存在(线性)相关性的
  协方差:可以用两个字段的协方差表示其相关性: 数据分析--降维--LDA和PCA

  当协方差为0时,表示两个字段完全独立。为了让协方差为0,选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。

  优化目标

  将一组N维向量降为K维(K大于0,小于N),目标是选择K个单位正交基,使原始数据变换到这组基上后,各字段两两间协方差为0,字段的方差则尽可能大

  协方差矩阵:   数据分析--降维--LDA和PCA  数据分析--降维--LDA和PCA

  矩阵对角线上的两个元素分别是两个字段的方差,而其它元素是a和b的协方差。

  协方差矩阵对角化:即除对角线外的其它元素化为0,并且在对角线上将元素按大小从上到下排列

  协方差矩阵对角化:  

          数据分析--降维--LDA和PCA

  实对称矩阵:一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量

            数据分析--降维--LDA和PCA

  实对称阵可进行对角化:

             数据分析--降维--LDA和PCA

  根据特征值的从大到小,将特征向量从上到下排列,则用前K行组成的矩阵乘以原始数据矩阵X,就得到了我们需要的降维后的数据矩阵Y

  PCA实例

    数据分析--降维--LDA和PCA

三、主成分分析 LDA

  1、LDA

  全称为:Linear Discriminant Analysis
  用途:数据预处理中的降维,分类任务
  历史:Ronald A. Fisher在1936年提出了线性判别方法
  目标:LDA关心的是能够最大化类间区分度的坐标轴成分
  将特征空间(数据集中的多维样本)投影到一个维度更小的 k 维子空间中,同时保持区分类别的信息

  原理:投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况,相同类别的点,将会在投影后的空间中更接近方法

  数据分析--降维--LDA和PCA     数据分析--降维--LDA和PCA

  

  监督性:LDA是“有监督”的,它计算的是另一类特定的方向
  投影:找到更合适分类的空间

              数据分析--降维--LDA和PCA

  与PCA不同,更关心分类而不是方差

  2、数学原理

  数据分析--降维--LDA和PCA

  目标: 找到该投影

  LDA分类的一个目标是使得不同类别之间的距离越远越好,同一类别之中的距离越近越好

  每类样例的均值:     数据分析--降维--LDA和PCA

  投影后的均值:    数据分析--降维--LDA和PCA

  投影后的两类样本中心点尽量分离:    数据分析--降维--LDA和PCA

  对于下图:

    数据分析--降维--LDA和PCA

  只最大化J(w)就可以了?
  X1的方向可以最大化J(w),但是却分的不好
  散列值:样本点的密集程度,值越大,越分散,反之,越集中
  同类之间应该越密集些:   

            数据分析--降维--LDA和PCA

  数据分析--降维--LDA和PCA

  数据分析--降维--LDA和PCA 

  分母进行归一化:如果分子、分母是都可以取任意值的,那就会使得有无穷解,我们将分母限制为长度为1

   拉格朗日乘子法:

          数据分析--降维--LDA和PCA

  两边都乘以Sw的逆:      

          数据分析--降维--LDA和PCA

  可见,w就是矩阵数据分析--降维--LDA和PCA的特征向量了

 

 

 

 

 


推荐阅读
  • 近期尝试从www.hub.sciverse.com网站通过编程手段获取数据时遇到问题,起初尝试使用WebBrowser控件进行数据抓取,但发现使用GET方法翻页时,返回的HTML代码始终相同。进一步探究后了解到,该网站的数据是通过Ajax异步加载的,可通过HTTP查看详细的JSON响应。 ... [详细]
  • Go从入门到精通系列视频之go编程语言密码学哈希算法(二) ... [详细]
  • 对于编程爱好者而言,理解PHP的强大功能及其在Web开发中的应用至关重要。本文旨在分享作者在学习PHP过程中的实际经验和技巧,帮助初学者找到学习编程的有效途径。 ... [详细]
  • After Effects 十大实用可复制表达式
    本文介绍了After Effects中十个最常用的可复制表达式,这些表达式能够帮助用户快速实现各种动态效果,提升工作效率。 ... [详细]
  • CISSP 第8章 软件开发安全概述与实践
    本文探讨了软件开发中的安全问题,包括但不限于满足功能需求与安全性之间的平衡、SDLC(软件开发生命周期)中安全的重要性、OWASP的最佳实践、不同的开发模型、能力成熟度模型、变更控制流程、软件托管服务以及不同代际的编程语言等。此外,还涉及了Web环境下的特定威胁、多层次的攻击防御、数据仓库与数据挖掘技术及其应用模型、恶意软件的识别与防范措施等内容。 ... [详细]
  • 本文介绍了如何利用jQuery实现对网页上多个div元素的显示与隐藏控制,包括基本的toggle方法及更复杂的显示隐藏逻辑。 ... [详细]
  • 本文探讨了程序员这一职业的本质,认为他们是专注于问题解决的专业人士。文章深入分析了他们的日常工作状态、个人品质以及面对挑战时的态度,强调了编程不仅是一项技术活动,更是个人成长和精神修炼的过程。 ... [详细]
  • TCP协议中的可靠传输机制分析
    本文深入探讨了TCP协议如何通过滑动窗口和超时重传来确保数据传输的可靠性,同时介绍了流量控制和拥塞控制的基本原理及其在实际网络通信中的应用。 ... [详细]
  • 在1995年,Simon Plouffe 发现了一种特殊的求和方法来表示某些常数。两年后,Bailey 和 Borwein 在他们的论文中发表了这一发现,这种方法被命名为 Bailey-Borwein-Plouffe (BBP) 公式。该问题要求计算圆周率 π 的第 n 个十六进制数字。 ... [详细]
  • 本文详细介绍了如何在Oracle VM VirtualBox中实现主机与虚拟机之间的数据交换,包括安装Guest Additions增强功能,以及如何利用这些功能进行文件传输、屏幕调整等操作。 ... [详细]
  • CSS Border 属性:solid 边框的使用详解
    本文详细介绍了如何在CSS中使用solid边框属性,包括其基本语法、应用场景及高级技巧,适合初学者和进阶用户参考。 ... [详细]
  • 2023年,Android开发前景如何?25岁还能转行吗?
    近期,关于Android开发行业的讨论在多个平台上热度不减,许多人担忧其未来发展。本文将探讨当前Android开发市场的现状、薪资水平及职业选择建议。 ... [详细]
  • 本文介绍了SIP(Session Initiation Protocol,会话发起协议)的基本概念、功能、消息格式及其实现机制。SIP是一种在IP网络上用于建立、管理和终止多媒体通信会话的应用层协议。 ... [详细]
  • 探索《冯诺依曼传》:天才与时代的交响
    本文深入探讨了《冯诺依曼传》,通过分析这位20世纪杰出科学家的生平,揭示其对现代科技及理论科学的深远影响。 ... [详细]
  • 我的读书清单(持续更新)201705311.《一千零一夜》2006(四五年级)2.《中华上下五千年》2008(初一)3.《鲁滨孙漂流记》2008(初二)4.《钢铁是怎样炼成的》20 ... [详细]
author-avatar
晴felleman_110
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有