R︱SoftmaxRegression建模(MNIST手写体识别和文档多分类应用)

本文转载自经管之家论坛&＃xff0c; R语言中的Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)

R中的softmaxreg包&＃xff0c;发自2016-09-09&＃xff0c;链接:https://cran.r-project.org/web/packages/softmaxreg/index.html

——————————————————————————————————————————————————————————————————

一、介绍

       Softmax Regression模型本质还是一个多分类模型&＃xff0c;对Logistic Regression 逻辑回归的拓展。如果将Softmax Regression模型和神经网络隐含层结合起来&＃xff0c;可以进一步提升模型的性能&＃xff0c;构成包含多个隐含层和最后一个Softmax层的多层神经网络模型。之前发现R里面没有特别适合的方法支持多层的Softmax 模型&＃xff0c;于是就想直接用R语言写一个softmaxreg 包。可以支持大部分的多分类问题&＃xff0c;其中的两个示例&＃xff1a;MNIST手写体识别和多文档分类(Multi-Class DocumentClassification) 的文档如下

二、示例文档

2.1 MNIST手写体识别数据集

MNIST手写体识别的数据集是图像识别领域一个基本数据集&＃xff0c;很多模型诸如CNN卷积神经网络等模型都经常在这个数据集上测试都能够达到97%以上的准确率。 这里想比较一下包含隐含层的softmaxreg模型&＃xff0c;测试结果显示模型的准确率能达到93% 左右。

Part1、下载和Load数据

      MNIST手写体识别的数据集可以直接从网站下载http://yann.lecun.com/exdb/mnist/&＃xff0c;一共四个文件&＃xff0c;分别下载下来并解压。文件格式比较特殊&＃xff0c;可以用softmaxreg 包中的load_image_file 和load_label_file 两个函数读取。

训练集有60000幅图片&＃xff0c;每个图片都是由16*16个像素构成&＃xff0c;代表了0-9中的某一个数字&＃xff0c;比如下图。

       利用softmaxreg 包训练一个10分类的MNIST手写体识别的模型&＃xff0c;用load_image_file 和load_label_file 来分别读取训练集的图像数据和标签的数据 (Reference: brendano&＃39;connor - gist.github.com/39760的读取方法)

可以用show_digit函数来看一个数字的图像&＃xff0c;比如查看某一个图片&＃xff0c;比如第2副

Part2、训练模型

利用softmaxReg函数&＃xff0c;训练集输入和标签分别为为x和y&＃xff0c;maxit 设置最多多少个Epoch, algorithm为优化的算法&＃xff0c;rate为学习率&＃xff0c;batch参数为SGD随机梯度下降每个Mini-Batch的样本个数。 收敛后用predict方法来看看测试集Test的准确率怎么样

Part3、比较不同优化算法的收敛速度

       如果maxit 迭代次数过大&＃xff0c;模型运行时间较长&＃xff0c;可以保存图像&＃xff0c;最后可以看到AdaGrad, rmsprop,momentum, nag 和标准SGD这几种优化算法的收敛速度的比较效果。关于优化算法这个帖子有很好的总结&＃xff1a;

http://cs231n.github.io/neural-networks-3/

2.2 多类别的文档分类

        Softmax regression模型的每个输入为一个文档&＃xff0c;用一个字符串表示。其中每个词word都可以用一个word2vec模型训练的word Embedding低维度的实数词向量表示。在softmaxreg包中有一个预先训练好的模型&＃xff1a;长度为20维的英文词向量的字典&＃xff0c;直接用data(word2vec) 调用就可以了。

假设我们需要对UCI的C50新闻数据集进行分类&＃xff0c;数据集包含多个作者写的新闻报道&＃xff0c;每个作者的新闻文件都在一个单独的文件夹中。 我们假设挑选5个作者的文章进行训练softmax regression 模型&＃xff0c;然后在测试集中预测任意文档属于哪一个作者&＃xff0c;这就构成了一个5分类的问题。

Part1, 载入预先训练好的 英文word2vec 字典表

Part2&＃xff0c;利用loadURLData函数从网址下载数据并且解压到folder目录

Part3&＃xff0c;利用wordEmbed() 函数作为lookup table&＃xff0c;从默认的word2vec数据集中查找每个单词的向量表示&＃xff0c;默认20维度&＃xff0c;可以自己训练自己的字典数据集来替换。

Part4&＃xff0c;训练模型&＃xff0c;构建一个结构为20-10-5的模型&＃xff0c;输入层为20维&＃xff0c;即词向量的维度&＃xff0c;隐含层的节点数为10&＃xff0c;最后softmax层输出节点个数为5.

关于Stanford的中英文

http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

softmaxregR包的下载地址:

https://cran.r-project.org/web/packages/softmaxreg/index.html