热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

数据分析降维LDA和PCA

一、因子分析因子分析是将具有错综复杂关系的变量(或样本)综合为少数几个因子,以再现原始变量和因子之间的相互关系,探讨多个能够直接测量,并且具有一定相关性的实测指标是如何受少数几个内

一、因子分析

  因子分析是将具有错综复杂关系的变量(或样本)综合为少数几个因子,以再现原始变量和因子之间的相互关系,探讨多个能够直接测量,并且具有一定相关性的实测指标是如何受少数几个内在的独立因子所支配,并且在条件许可时借此尝试对变量进行分类。

  因子分析的基本思想

  根据变量间相关性的大小把变量分组,使得同组内的变量之间的相关性(共性)较高,并用一个公共因子来代表这个组的变量,而不同组的变量相关性较低(个性)。

  因子分析的目的,通俗来讲就是简化变量维数。即要使因素结构简单化,希望以最少的共同因素(公共因子),能对总变异量作最大的解释,因而抽取得因子越少越好,但抽取的因子的累积解释的变异量越大越好。

  主要内容:

  (1):主成分分析 PCA

  (2):线性判别分析  LDA

 

二、主成分分析 PCA 

  1、PCA

  英语全称:Principal Component Analysis

  用途:降维中最常用的一种手段
  目标:提取最有价值的信息(基于方差)
  问题:降维后的数据的意义?

  2、向量的表示及基变换

  内积:       数据分析--降维--LDA和PCA

  解释:    数据分析--降维--LDA和PCA

  设向量B的模为1,则A与B的内积值等于A向B所在直线投影的矢量长度

          数据分析--降维--LDA和PCA

  

  向量可以表示为(3,2)实际上表示线性组合:

          数据分析--降维--LDA和PCA

 

  基:(1,0)和(0,1)叫做二维空间中的一组基

          数据分析--降维--LDA和PCA

  基变换

  基是正交的(即内积为0,或直观说相互垂直)
  要求:线性无关

          数据分析--降维--LDA和PCA

  变换:  数据与一个基做内积运算,结果作为第一个新的坐标分量,然后与第二个基做内积运算,结果作为第二个新坐标的分量

  数据(3,2)映射到基中坐标:    数据分析--降维--LDA和PCA

          数据分析--降维--LDA和PCA  

  两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去

  协方差矩阵

  方向:如何选择这个方向(或者说基)才能尽量保留最多的原始信息呢?
  一种直观的看法是:希望投影后的投影值尽可能分散

  方差 :  数据分析--降维--LDA和PCA

  寻找一个一维基,使得所有数据变换为这个基上的坐标表示后,方差值最大  

  协方差(假设均值为0时): 数据分析--降维--LDA和PCA

  协方差

  如果单纯只选择方差最大的方向,后续方向应该会和方差最大的方向接近重合。
  解决方案:为了让两个字段尽可能表示更多的原始信息,我们是不希望它们之间存在(线性)相关性的
  协方差:可以用两个字段的协方差表示其相关性: 数据分析--降维--LDA和PCA

  当协方差为0时,表示两个字段完全独立。为了让协方差为0,选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。

  优化目标

  将一组N维向量降为K维(K大于0,小于N),目标是选择K个单位正交基,使原始数据变换到这组基上后,各字段两两间协方差为0,字段的方差则尽可能大

  协方差矩阵:   数据分析--降维--LDA和PCA  数据分析--降维--LDA和PCA

  矩阵对角线上的两个元素分别是两个字段的方差,而其它元素是a和b的协方差。

  协方差矩阵对角化:即除对角线外的其它元素化为0,并且在对角线上将元素按大小从上到下排列

  协方差矩阵对角化:  

          数据分析--降维--LDA和PCA

  实对称矩阵:一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量

            数据分析--降维--LDA和PCA

  实对称阵可进行对角化:

             数据分析--降维--LDA和PCA

  根据特征值的从大到小,将特征向量从上到下排列,则用前K行组成的矩阵乘以原始数据矩阵X,就得到了我们需要的降维后的数据矩阵Y

  PCA实例

    数据分析--降维--LDA和PCA

三、主成分分析 LDA

  1、LDA

  全称为:Linear Discriminant Analysis
  用途:数据预处理中的降维,分类任务
  历史:Ronald A. Fisher在1936年提出了线性判别方法
  目标:LDA关心的是能够最大化类间区分度的坐标轴成分
  将特征空间(数据集中的多维样本)投影到一个维度更小的 k 维子空间中,同时保持区分类别的信息

  原理:投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况,相同类别的点,将会在投影后的空间中更接近方法

  数据分析--降维--LDA和PCA     数据分析--降维--LDA和PCA

  

  监督性:LDA是“有监督”的,它计算的是另一类特定的方向
  投影:找到更合适分类的空间

              数据分析--降维--LDA和PCA

  与PCA不同,更关心分类而不是方差

  2、数学原理

  数据分析--降维--LDA和PCA

  目标: 找到该投影

  LDA分类的一个目标是使得不同类别之间的距离越远越好,同一类别之中的距离越近越好

  每类样例的均值:     数据分析--降维--LDA和PCA

  投影后的均值:    数据分析--降维--LDA和PCA

  投影后的两类样本中心点尽量分离:    数据分析--降维--LDA和PCA

  对于下图:

    数据分析--降维--LDA和PCA

  只最大化J(w)就可以了?
  X1的方向可以最大化J(w),但是却分的不好
  散列值:样本点的密集程度,值越大,越分散,反之,越集中
  同类之间应该越密集些:   

            数据分析--降维--LDA和PCA

  数据分析--降维--LDA和PCA

  数据分析--降维--LDA和PCA 

  分母进行归一化:如果分子、分母是都可以取任意值的,那就会使得有无穷解,我们将分母限制为长度为1

   拉格朗日乘子法:

          数据分析--降维--LDA和PCA

  两边都乘以Sw的逆:      

          数据分析--降维--LDA和PCA

  可见,w就是矩阵数据分析--降维--LDA和PCA的特征向量了

 

 

 

 

 


推荐阅读
  • Python 异步编程:深入理解 asyncio 库(上)
    本文介绍了 Python 3.4 版本引入的标准库 asyncio,该库为异步 IO 提供了强大的支持。我们将探讨为什么需要 asyncio,以及它如何简化并发编程的复杂性,并详细介绍其核心概念和使用方法。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • c# – UWP:BrightnessOverride StartOverride逻辑 ... [详细]
  • 本文将介绍如何编写一些有趣的VBScript脚本,这些脚本可以在朋友之间进行无害的恶作剧。通过简单的代码示例,帮助您了解VBScript的基本语法和功能。 ... [详细]
  • 优化ASM字节码操作:简化类转换与移除冗余指令
    本文探讨如何利用ASM框架进行字节码操作,以优化现有类的转换过程,简化复杂的转换逻辑,并移除不必要的加0操作。通过这些技术手段,可以显著提升代码性能和可维护性。 ... [详细]
  • 本文总结了2018年的关键成就,包括职业变动、购车、考取驾照等重要事件,并分享了读书、工作、家庭和朋友方面的感悟。同时,展望2019年,制定了健康、软实力提升和技术学习的具体目标。 ... [详细]
  • 技术分享:从动态网站提取站点密钥的解决方案
    本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • C++实现经典排序算法
    本文详细介绍了七种经典的排序算法及其性能分析。每种算法的平均、最坏和最好情况的时间复杂度、辅助空间需求以及稳定性都被列出,帮助读者全面了解这些排序方法的特点。 ... [详细]
  • 本文详细探讨了Java中的24种设计模式及其应用,并介绍了七大面向对象设计原则。通过创建型、结构型和行为型模式的分类,帮助开发者更好地理解和应用这些模式,提升代码质量和可维护性。 ... [详细]
  • 本文详细介绍了 Dockerfile 的编写方法及其在网络配置中的应用,涵盖基础指令、镜像构建与发布流程,并深入探讨了 Docker 的默认网络、容器互联及自定义网络的实现。 ... [详细]
  • 解决Linux系统中pygraphviz安装问题
    本文探讨了在Linux环境下安装pygraphviz时遇到的常见问题,并提供了详细的解决方案和最佳实践。 ... [详细]
  • 本文详细介绍了如何使用 Yii2 的 GridView 组件在列表页面实现数据的直接编辑功能。通过具体的代码示例和步骤,帮助开发者快速掌握这一实用技巧。 ... [详细]
  • 解决PHP与MySQL连接时出现500错误的方法
    本文详细探讨了当使用PHP连接MySQL数据库时遇到500内部服务器错误的多种解决方案,提供了详尽的操作步骤和专业建议。无论是初学者还是有经验的开发者,都能从中受益。 ... [详细]
author-avatar
晴felleman_110
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有