深度学习的一般性流程2PyTorch选择损失函数

深度学习的一般性流程&＃xff1a;

1. 构建网络模型结构

2. 选择损失函数

3. 选择优化器进行训练

【背景----百度百科给出的基本概念】
最小二乘法&＃xff08;又称最小平方法&＃xff09;是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

监督学习中&＃xff0c;如果预测的变量是离散的&＃xff0c;我们称其为分类&＃xff08;如决策树&＃xff0c;支持向量机等&＃xff09;&＃xff0c;如果预测的变量是连续的&＃xff0c;我们称其为回归。

一元线性模型&＃xff1a;回归分析中&＃xff0c;如果只包括一个自变量和一个因变量&＃xff0c;且二者的关系可用一条直线近似表示&＃xff0c;这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量&＃xff0c;且因变量和自变量之间是线性关系&＃xff0c;则称为多元线性回归分析。

监督学习从数据中学习一个分类模型或者分类决策函数&＃xff0c;它被称为分类器&＃xff08;classifier&＃xff09;。

分类器对新的输入进行输入预测&＃xff0c;这个过程称为分类&＃xff08;classification&＃xff09;

【解决方案】

一元线性回归分析使用均方误差&＃xff08;对应了欧几里得距离&＃xff0c;有着很好的几何意义&＃xff09;进行模型求解的办法也称为“最小二乘法”,多元线性回归分析使用梯度下降法求解最小二乘问题

torch.nn.MSELoss()   #均方误差loss

import numpy as np
import torch.nn.functional as F
import torch
A &＃61; np.array([[1,2],[3,4]])
B &＃61; np.array([[1,4],[2,4]])cost_np &＃61; np.sum((A-B)**2)
print(cost_np)AT &＃61; torch.FloatTensor(A)
BT &＃61; torch.FloatTensor(B)cost_torch &＃61; F.mse_loss(AT,BT,reduction&＃61;&＃39;sum&＃39;)
print(cost_torch)

参数reduction 为none则将把所有误差输出&＃xff0c;mean求所有误差的均值&＃xff0c;sum求所有误差的和

二分类问题使用交叉熵进行模型求解

torch.nn.CrossEntropyLoss() #交叉熵的loss

input &＃61; torch.ones(4,6, requires_grad &＃61; True)
print(input)
target &＃61; torch.tensor([1,2,3,4])#--------------交叉熵求法1------------
temp &＃61; F.log_softmax(input)
output &＃61; F.nll_loss(temp,target)
print(output)
#--------------交叉熵求法2------------
output2 &＃61; F.cross_entropy(input,target)
print(output2)