模式识别综述

一、引言
模式识别是研究如何让机器能观察环境，并从环境背景中将感兴趣的目标提取分离、分类的过程；给定一个模式，它的识别、分类包含以下两方面的任务：指导性分类及非指导性分类。所以识别问题基本等价于分类、分组的问题，类（组）的概念是有设计者指定的或有算法依据数据在一定的相似性准则下建立的。模式识别应用的领域越来越广，从生物学、数据挖掘、文档分类、文档图像分析、工业自动化、多媒体数据库检索、语音识别到远程遥感等方面。而且不同的场景应用的方法还有差别，这主要由数据的类型（空间维数）、类别信息等决定；对于一个模式识别系统，其速度、准确性及花费仍然是考虑的方面。模式识别系统一般包含以下三个处理步骤：数据的采集、特性及决策；而问题域就决定了传感器、预处理技术、特性建立机制及决策模型等方面的技术。对于一个定义很好的、模式紧凑的识别问题（如小类内偏差，大类间偏差），这种情况用一个简单的决策模型就会得到较好的结果。已知的模式识别方法可分为四个大的方面：模板匹配、统计模式识别、语法及结构匹配和神经网络，下面先对这四个方面进行简单的阐述。
1、模板匹配
这时出现较早的一种方法，而且实现起来也较简单，匹配是个通用的操作，用于定义两个实体间的相似性程度，一般是采用二维模板，匹配的要素一般采用像素、曲线及形状信息，当然在定义模板及相似性函数时要考虑到实体的姿态及比例问题，这种方法一般不需要训练，实际上模板就是由训练集建立起来的。
这种方法的主要缺点是处理图像的扭曲效果不好，如图像投影的畸变教严重时。
2、统计
每个模式都是d维空间中的一个点，目标就是选择一些模式向量将不同的模式分配到不同的模式空间的区域上，对于每个类别给定的训练集，在模式空间中建立一些分割边界将不同的模式分到不同的类别中，统计方法中，这个边界是基于每个类的模式的概率分布的，这点必须预先知道或通过学习获得，学习就分参数化和非参数化的，前者对应知道其分布需要估计其分布参数，这个由样本空间可完成，而后者是采用核函数的方式进行估计，同时分割边界一般是基于一定准则建立的，如最小均方误差准则。
3、语法及结构分析
这种方法一般针对复杂模式提出的，一般将模式分为子模式一级，称为基元。这种方法其难点是基元的提取及从训练数据中提取语法、结构规则。
4、神经网络
是一种复杂的并行的非线性系统，完成复杂的计算，网络的最大特点就是从训练数据中学习到输入－输出间的复杂关系，并对数据具有适应性。网络的结构是千万种，但最常用的就是前馈结构，如多层感知器及径向基函数两种。神经网络中的隐层可完成特性的抽取及选择功能，所以适应性很强，理论上，网络模型等价于经典的统计方法，实际上统计信息就是从样本中获得。
本部分主要讨论统计模式识别的方法，从操作的一些细节上进行讨论，同时也讨论的多种方法的优缺点。
二、统计模式识别
一个模式系统一般工作在两个方面：训练和分类；统计模式识别的理论依据就是bayes理论，当然也可采用修正的bayes理论（风险估计）；当然bayes理论要求类的分布情况，在已知分布情况下就可直接使用，但一般这种可能性较小，对于只是知道分布函数，但不知道参数的情况，就是估计参数的过程，而在更一般情况下，对应分布是一点信息没有，这样可采用Parzen窗核函数估计其分布或直接基于训练数据建立决策边界。实际上多层感知器就是一个非参数的过程。统计模式的一种分类方法分为指导性训练和非指导性训练；非指导性训练一般对于数据的已知信息很少，如远程的空间遥感应用，这里一般采用聚类的方法。另一种分类方法是基于决策边界是直接获得还是间接获得，前者一般是在几何空间就可完成。无论采用那种方法，训练集非常关键，主要训练的数据量要足够大而且要足够典型，这样才能保证算法的可靠性，训练集的应用上注意以下几点：训练样本的个数应该在10倍于特性数据维数；相对于训练样本，分类器的未知参数不能过多；分类器不能出现过度训练的问题。
又一个注意点就是在模式识别中并不是维数越高识别效果越好，这种现象称为维数的诅咒，这种诅咒就是随着特性增加而分类器的性能确恶化；当然对于已知类的条件概率情况下，这种诅咒是不存在的，但一般情况下这种分布是不确定知道的。
三、维数的降低
在很多情况下需要对已知的特性进行降低处理，即在低维空间进行分类，如性能的考虑。主向量分析法是一种常用的方法，这种方法剔除掉次要的特性，其模式信息由主向量（协方差矩阵的主特征向量）决定；特性抽取和特性选择是由差别的，特性抽取强调是空间的维数处理，如原始特性的变换和组合。而特性选择是指从特性空间中选择一个子空间进行分类，以便达到分类误差最小的要求。