在浏览器中进行深度学习：TensorFlow.js(二）第一个模型，线性回归

笔者在上一篇文章中介绍了TensorFlow.js中的基本概念&＃xff0c;以及机器学习的数学基础&＃xff0c;线性代数的基本知识。在这一遍文章里&＃xff0c;我们来看一看如何利用TensorFlow.js来构建数学模型&＃xff0c;以及进行学习的基本过程。

学习的过程基本如下&＃xff1a;

1. 准备训练数据
2. 构建一个模型
3. 利用训练数据和模型&＃xff0c;进行迭代的学习
4. 模型训练完毕&＃xff0c;用这个模型对新的数据进行预测&＃xff08;这里我们先略过对模型的验证部分&＃xff09;

好了&＃xff0c;我们以最简单的线性回归为例子&＃xff0c;看看这个过程。

准备数据

如上图所示&＃xff0c;我在二维坐标系中生成了7个点&＃xff0c;让它们在我假想的某条直线附近。我以这几个点作为我的训练数据。

训练数据的初始化代码如下&＃xff0c;这里tx是所有点数据的x坐标&＃xff0c;ty是所有点数据的坐标。

const train_x &＃61; tf.tensor1d(tx);
const train_y &＃61; tf.tensor1d(ty);

模型选择

所有的模型都是错的&＃xff0c;有的模型更好。

所谓的模型&＃xff0c;也就是一个函数f&＃xff0c;对应于某个输入数据&＃xff0c;计算出某些输出数据。模型可以复杂&＃xff0c;可以简单。简单的模型不一定不好&＃xff0c;复杂的模型也不一定好。

我们用线性模型举例&＃xff0c;数学上就是假定 Y &＃61; wX &＃43; b

在这个模型中&＃xff0c;有两个参数需要确定&＃xff0c;w和b。

模型既然是个函数&＃xff0c;那么它的代码也就很容易理解了&＃xff1a;

const f &＃61; x &＃61;> w.mul(x).add(b);

当然你也可以这样写&＃xff1a;

const f &＃61; function(x){return w.mul(x).add(b);}
}

迭代学习

学习的过程我们称作训练&＃xff0c;训练通常是一个迭代的过程&＃xff0c;这个过程中&＃xff0c;通常需要这几样东西&＃xff1a;

• 一个损失函数&＃xff08;loss function&＃xff09;&＃xff0c;损失函数定义了模型是不是足够好&＃xff0c;通常loss越小越好。
• 一个优化器 &＃xff08;optimizer&＃xff09;&＃xff0c;优化器通过某种算法来决定如何改变参数的值&＃xff0c;使得损失函数最小化。
• 迭代循环&＃xff0c; 通过循环 -> 调用优化器&＃xff0c;得到新的参数&＃xff0c;计算损失, 最终当损失足够小时&＃xff0c;可以认为训练结束了。

训练代码如下&＃xff1a;

初始化参数&＃xff0c;这里使用随机数来作为参数的初始值。&＃xff08;注意&＃xff0c;初始参数并不总是随机选择的。&＃xff09;

const w &＃61; tf.variable(tf.scalar(Math.random()));
const b &＃61; tf.variable(tf.scalar(Math.random()));

初始化学习参数&＃xff0c;

• numIterations是迭代的次数&＃xff0c;一般次数越多&＃xff0c;模型的拟合就越好&＃xff0c;但是就需要花费越多的计算
• learningRate是学习率&＃xff0c;这个值越大&＃xff0c;学的速度就越快&＃xff0c;但是也会更加容易错过极值点。

const numIterations &＃61; 200;
const learningRate &＃61; 1;

选择一个优化器&＃xff0c;这里我选择了adam。TensorFlow.js提供了多种优化器&＃xff0c;例如sgd&＃xff0c;momentum等等&＃xff0c;大家可以根据自己的需要来选择。

const optimizer &＃61; tf.train.adam(learningRate);

对于损失函数&＃xff0c;我们采用的是均方差 

const loss &＃61; (pred, label) &＃61;> pred.sub(label).square().mean();

或者可以写作&＃xff1a;

function loss(predictions, labels) {const meanSquareError &＃61; predictions.sub(labels).square().mean();return meanSquareError;
}

然后就是训练的过程啦&＃xff1a;

for (let iter &＃61; 0; iter {const loss_var &＃61; loss(f(train_x), train_y);loss_var.print();return loss_var;})
}

在训练过程中&＃xff0c;我们调用tensor的print()方法打印出损失的值&＃xff0c;看看训练过程是不是收敛。当选择的模型&＃xff0c;参数&＃xff0c;优化器不合适的时候&＃xff0c;有可能训练过程并不收敛。

训练的结果我们就等到了w和b的值。也就是确定了直线的斜率和截距。
大家可以尝试我的演示代码

我们可以看到学习过程中是如何慢慢收敛到最后的结果的直线。

总结

本文描述了一个使用tensoflow.js来进行最简单的线性回归模型的学习的过程。希望大家可以通过这个简单的例子了解机器学习的基本思路。

参考

• 在浏览器中进行深度学习&＃xff1a;TensorFlow.js (一&＃xff09;基本概念