机器学习——神经网络（三）：线性神经网络

线性神经网络&＃xff08;LMS&＃xff09;

1.基础理论

• 对比理解&＃xff1a;

感知器	LMS
只有两种输出&＃xff08;1或者-1&＃xff09;	输出可以是任意的值
激活函数可以是sign、sigmod等函数	激活函数是线性函数
解决不了异或等问题	只能解决线性可分问题&＃xff0c;但是可以解决异或问题

• 网络结构&＃xff1a;

X是指输入神经元
v是指输出神经元

2. 简单的线性神经网络例子:

说明

1. 数据点为&＃xff08;3,3&＃xff09;、&＃xff08;4,3&＃xff09;、&＃xff08;1&＃xff0c;1&＃xff09;&＃xff0c;其中&＃xff08;3,3&＃xff09;和&＃xff08;4,3&＃xff09;为正样本&＃xff08;1,1&＃xff09;为负样本
2. 初始化权值的范围在[-1,1]

import numpy as np
import matplotlib.pyplot as plt
# 载入数据
x_data &＃61; np.array([[1,3,3],[1,4,3],[1,1,1]])
y_data &＃61; np.array([[1,1,-1]])# 设置权值
w &＃61; (np.random.random(3)-0.5)*2
print(w)# 设置学习率
lr &＃61; 0.11
# 神经网络的输出
out_data &＃61; 0
# 统计迭代次数
n &＃61; 0def update():global x_data,y_data,w,lr,nn &＃43;&＃61; 1out_data &＃61; np.dot(x_data,w.T) # x_data是4*3矩阵&＃xff0c;w是3*1矩阵,输出4*1矩阵w_c &＃61; lr*((y_data-out_data.T).dot(x_data))/int(x_data.shape[0])# 分母求得误差的总合&＃xff0c;分子表示sample的数量&＃xff0c;结果表示平均误差w &＃61; w&＃43;w_cfor i in range(100):update() # 权值更新out_data &＃61; np.sign(np.dot(x_data,w.T)) # 计算当前输出print("epoch:",i)print("w:",w)if(out_data&＃61;&＃61;y_data.T).all(): # 如果当前输出与实际输出相当&＃xff0c;模型收敛&＃xff0c;循环结束&＃xff08;。all是全部相等的意思&＃xff09;print("#####################")print("finished")print("epoch:",i)print("#####################")break
# 正样本
x1 &＃61; [3,4]
y1 &＃61; [3,3]
# 负样本
x2 &＃61; [1]
y2 &＃61; [1]# 计算分界线的斜率以及截距
k &＃61; -w[0,1]/w[0,2]
b &＃61; -w[0,0]/w[0,2]
print("k &＃61; ",k)
print("b &＃61; ",b)xdata &＃61;np.linspace(0,5)
plt.figure()
plt.plot(xdata,xdata*k&＃43;b,&＃39;r&＃39;)
plt.scatter(x1,y1,c&＃61;&＃39;b&＃39;)
plt.scatter(x2,y2,c&＃61;&＃39;y&＃39;)
plt.show()


结果&＃xff1a;

3.使用线性神经网络解决异或问题&＃xff1a;

用一种简介的方式解决线性不可分的问题&＃xff1a;用多个线性函数对区域进行划分&＃xff0c;然后对各个神经元的输出做逻辑运算
解决异或问题需要利用曲线&＃xff0c;所以构建跟多的输入属性即

(1,x1,x2,x12,x22,2x1x2)(1,x_1,x_2,x_1^2,x_2^2,2x_1x_2)(1,x1​,x2​,x12​,x22​,2x1​x2​)

import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
# 载入数据(直接构建)
x_data &＃61; np.array([[1,0,0,0,0,0],[1,0,1,0,0,1],[1,1,0,1,0,0],[1,1,1,1,1,1]])
y_data &＃61; np.array([[-1,1,1,-1]])# 使用sklearn中的PolynomialFeatures函数生成
poly_reg &＃61; PolynomialFeatures(degree&＃61;2)
x_poly &＃61; poly_reg.fit_transform([[0,0],[0,1],[1,0],[1,1]])
print(x_poly)
# 标签
y_data &＃61; np.array([[-1,1,1,-1]])
# 设置权值
w &＃61; (np.random.random(6)-0.5)*2
print(w)
# 设置学习率
lr &＃61; 0.11
# 神经网络的输出
out_data &＃61; 0
# 统计迭代次数
n &＃61; 0def update():global x_data,y_data,w,lr,nn &＃43;&＃61; 1out_data &＃61; np.dot(x_data,w.T) # x_data是4*3矩阵&＃xff0c;w是3*1矩阵,输出4*1矩阵w_c &＃61; lr*((y_data-out_data.T).dot(x_data))/int(x_data.shape[0])# 分母求得误差的总合&＃xff0c;分子表示sample的数量&＃xff0c;结果表示平均误差w &＃61; w&＃43;w_c
for i in range(1000):update() # 权值更新
# 正样本
x1 &＃61; [0,1]
y1 &＃61; [1,0]
# 负样本
x2 &＃61; [1,0]
y2 &＃61; [1,0]def calculate(x,root):"""进行公式推导&＃xff0c;确定二次方程的解得到a/b/c返回函数的解"""a &＃61; w[0,5]b &＃61; w[0,2]&＃43;x*w[0,4]c &＃61; w[0,0]&＃43;x*w[0,1]&＃43;x*x*w[0,3]if root &＃61;&＃61;1:return(-b&＃43;np.sqrt(b*b-4*a*c))/(2*a)if root &＃61;&＃61; 2:return(-b-np.sqrt(b*b-4*a*c))/(2*a)
# 绘图
xdata &＃61;np.linspace(-1,2) # linspace是线性划分区间&＃xff0c;生成一系列的点
plt.figure()
plt.plot(xdata,calculate(xdata,1),&＃39;r&＃39;)
plt.plot(xdata,calculate(xdata,2),&＃39;r&＃39;)
plt.plot(x1,y1,&＃39;bo&＃39;) # 注意这里的plot并非是scatter
plt.plot(x2,y2,&＃39;yo&＃39;)
plt.show()


结果视图&＃xff1a;

进击的巨人——三笠.阿克曼