1 案例说明&＃xff08;实现MINE正方法的功能&＃xff09;

定义两组具有不同分布的模拟数据&＃xff0c;使用神经网络的MINE的方法计算两个数据分布之间的互信息

2 代码编写

2.1 代码实战&＃xff1a;准备样本数据

import torch
import torch.nn as nn
import torch.nn.functional as F
import numpy as np
from tqdm import tqdm
import matplotlib.pyplot as plt
import os
os.environ[&＃39;KMP_DUPLICATE_LIB_OK&＃39;] &＃61; &＃39;True&＃39; # 可能是由于是MacOS系统的原因### 本例实现了用神经网络计算互信息的功能。这是一个简单的例子&＃xff0c;目的在于帮助读者更好地理MNE方法。# 1.1 准备样本数据&＃xff1a;定义两个数据生成函数gen_x()、gen_y()。函数gen_x()用于生成1或-1&＃xff0c;函数gen_y()在此基础上为其再加上一个符合高斯分布的随机值。
# 生成模拟数据
data_size &＃61; 1000
def gen_x():return np.sign(np.random.normal(0.0,1.0,[data_size,1]))def gen_y(x):return x &＃43; np.random.normal(0.0,0.5,[data_size,1])def show_data():x_sample &＃61; gen_x()y_sample &＃61; gen_y(x_sample)plt.scatter(np.arange(len(x_sample)), x_sample, s&＃61;10,c&＃61;&＃39;b&＃39;,marker&＃61;&＃39;o&＃39;)plt.scatter(np.arange(len(y_sample)), y_sample, s&＃61;10,c&＃61;&＃39;y&＃39;,marker&＃61;&＃39;o&＃39;)plt.show() # 两条横线部分是样本数据x中的点&＃xff0c;其他部分是样本数据y。

2.2 代码实战&＃xff1a;定义神经网络模型

# 1.2 定义神经网络模型
class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 &＃61; nn.Linear(1,10)self.fc2 &＃61; nn.Linear(1,10)self.fc3 &＃61; nn.Linear(10,1)def forward(self,x,y):h1 &＃61; F.relu(self.fc1(x) &＃43; self.fc2(y))h2 &＃61; self.fc3(h1)return h2

2.3 代码实战&＃xff1a;利用MINE方法训练模型并输出结果

# 1.3 利用MINE方法训练模型并输出结果
if __name__ &＃61;&＃61; &＃39;__main__&＃39;:show_data()# 显示数据model &＃61; Net() # 实例化模型optimizer &＃61; torch.optim.Adam(model.parameters(), lr&＃61;0.01) # 使用Adam优化器并设置学习率为0.01n_epoch &＃61; 500plot_loss &＃61; []# MiNE方法主要用于模型的训练阶段for epoch in tqdm(range(n_epoch)):x_sample &＃61; gen_x() # 调用gen_x()函数生成样本x_Sample。X_sample代表X的边缘分布P(X)y_sample &＃61; gen_y(x_sample) # 将生成的×_sample样本放到gen_x()函数中&＃xff0c;生成样本y_sample。y_sample代表条件分布P(Y|X)。y_shuffle &＃61; np.random.permutation(y_sample) # )将 y_sample按照批次维度打乱顺序得到y_shuffle&＃xff0c;y_shuffle是Y的经验分布&＃xff0c;近似于Y的边缘分布P(Y)。# 转化为张量x_sample &＃61; torch.from_numpy(x_sample).type(torch.FloatTensor)y_sample &＃61; torch.from_numpy(y_sample).type(torch.FloatTensor)y_shuffle &＃61; torch.from_numpy(y_shuffle).type(torch.FloatTensor)model.zero_grad()pred_xy &＃61; model(x_sample, y_sample) # 式(8-49&＃xff09;中的第一项联合分布的期望:将x_sample和y_sample放到模型中&＃xff0c;得到联合概率&＃xff08;P(X,Y)&＃61;P(Y|X)P(X)&＃xff09;关于神经网络的期望值pred_xy。pred_x_y &＃61; model(x_sample, y_shuffle) # 式(8-49)中的第二项边缘分布的期望:将x_sample和y_shuffle放到模型中&＃xff0c;得到边缘概率关于神经网络的期望值pred_x_y 。ret &＃61; torch.mean(pred_xy) - torch.log(torch.mean(torch.exp(pred_x_y))) # 将pred_xy和pred_x_y代入式&＃xff08;8-49&＃xff09;中&＃xff0c;得到互信息ret。loss &＃61; - ret # 最大化互信息&＃xff1a;在训练过程中&＃xff0c;因为需要将模型权重向着互信息最大的方向优化&＃xff0c;所以对互信息取反&＃xff0c;得到最终的loss值。plot_loss.append(loss.data) # 收集损失值loss.backward() # 反向传播&＃xff1a;在得到loss值之后&＃xff0c;便可以进行反向传播并调用优化器进行模型优化。optimizer.step() # 调用优化器plot_y &＃61; np.array(plot_loss).reshape(-1, ) # 可视化plt.plot(np.arange(len(plot_loss)), -plot_y, &＃39;r&＃39;) # 直接将|oss值取反&＃xff0c;得到最大化互信息的值。plt.show()

3 代码总览

import torch
import torch.nn as nn
import torch.nn.functional as F
import numpy as np
from tqdm import tqdm
import matplotlib.pyplot as plt
import os
os.environ[&＃39;KMP_DUPLICATE_LIB_OK&＃39;] &＃61; &＃39;True&＃39; # 可能是由于是MacOS系统的原因### 本例实现了用神经网络计算互信息的功能。这是一个简单的例子&＃xff0c;目的在于帮助读者更好地理MNE方法。# 1.1 准备样本数据&＃xff1a;定义两个数据生成函数gen_x()、gen_y()。函数gen_x()用于生成1或-1&＃xff0c;函数gen_y()在此基础上为其再加上一个符合高斯分布的随机值。
# 生成模拟数据
data_size &＃61; 1000
def gen_x():return np.sign(np.random.normal(0.0,1.0,[data_size,1]))def gen_y(x):return x &＃43; np.random.normal(0.0,0.5,[data_size,1])def show_data():x_sample &＃61; gen_x()y_sample &＃61; gen_y(x_sample)plt.scatter(np.arange(len(x_sample)), x_sample, s&＃61;10,c&＃61;&＃39;b&＃39;,marker&＃61;&＃39;o&＃39;)plt.scatter(np.arange(len(y_sample)), y_sample, s&＃61;10,c&＃61;&＃39;y&＃39;,marker&＃61;&＃39;o&＃39;)plt.show() # 两条横线部分是样本数据x中的点&＃xff0c;其他部分是样本数据y。# 1.2 定义神经网络模型
class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 &＃61; nn.Linear(1,10)self.fc2 &＃61; nn.Linear(1,10)self.fc3 &＃61; nn.Linear(10,1)def forward(self,x,y):h1 &＃61; F.relu(self.fc1(x) &＃43; self.fc2(y))h2 &＃61; self.fc3(h1)return h2# 1.3 利用MINE方法训练模型并输出结果
if __name__ &＃61;&＃61; &＃39;__main__&＃39;:show_data()# 显示数据model &＃61; Net() # 实例化模型optimizer &＃61; torch.optim.Adam(model.parameters(), lr&＃61;0.01) # 使用Adam优化器并设置学习率为0.01n_epoch &＃61; 500plot_loss &＃61; []# MiNE方法主要用于模型的训练阶段for epoch in tqdm(range(n_epoch)):x_sample &＃61; gen_x() # 调用gen_x()函数生成样本x_Sample。X_sample代表X的边缘分布P(X)y_sample &＃61; gen_y(x_sample) # 将生成的×_sample样本放到gen_x()函数中&＃xff0c;生成样本y_sample。y_sample代表条件分布P(Y|X)。y_shuffle &＃61; np.random.permutation(y_sample) # )将 y_sample按照批次维度打乱顺序得到y_shuffle&＃xff0c;y_shuffle是Y的经验分布&＃xff0c;近似于Y的边缘分布P(Y)。# 转化为张量x_sample &＃61; torch.from_numpy(x_sample).type(torch.FloatTensor)y_sample &＃61; torch.from_numpy(y_sample).type(torch.FloatTensor)y_shuffle &＃61; torch.from_numpy(y_shuffle).type(torch.FloatTensor)model.zero_grad()pred_xy &＃61; model(x_sample, y_sample) # 式(8-49&＃xff09;中的第一项联合分布的期望:将x_sample和y_sample放到模型中&＃xff0c;得到联合概率&＃xff08;P(X,Y)&＃61;P(Y|X)P(X)&＃xff09;关于神经网络的期望值pred_xy。pred_x_y &＃61; model(x_sample, y_shuffle) # 式(8-49)中的第二项边缘分布的期望:将x_sample和y_shuffle放到模型中&＃xff0c;得到边缘概率关于神经网络的期望值pred_x_y 。ret &＃61; torch.mean(pred_xy) - torch.log(torch.mean(torch.exp(pred_x_y))) # 将pred_xy和pred_x_y代入式&＃xff08;8-49&＃xff09;中&＃xff0c;得到互信息ret。loss &＃61; - ret # 最大化互信息&＃xff1a;在训练过程中&＃xff0c;因为需要将模型权重向着互信息最大的方向优化&＃xff0c;所以对互信息取反&＃xff0c;得到最终的loss值。plot_loss.append(loss.data) # 收集损失值loss.backward() # 反向传播&＃xff1a;在得到loss值之后&＃xff0c;便可以进行反向传播并调用优化器进行模型优化。optimizer.step() # 调用优化器plot_y &＃61; np.array(plot_loss).reshape(-1, ) # 可视化plt.plot(np.arange(len(plot_loss)), -plot_y, &＃39;r&＃39;) # 直接将|oss值取反&＃xff0c;得到最大化互信息的值。plt.show()