常用网络层

import os
import torch
import random
import numpy as np
import torchvision
import torch.nn as nn
from torchvision import transforms
from matplotlib import pyplot as plt
from PIL import Image
from tools.common_tools import transform_invert, set_seedset_seed(1) # 设置随机种子# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; load img &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
path_img &＃61; os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")
img &＃61; Image.open(path_img).convert(&＃39;RGB&＃39;) # 0~255# convert to tensor
img_transform &＃61; transforms.Compose([transforms.ToTensor()])
img_tensor &＃61; img_transform(img)
img_tensor.unsqueeze_(dim&＃61;0) # C*H*W to B*C*H*W# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; create convolution layer &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; maxpool
# flag &＃61; 1
flag &＃61; 0
if flag:maxpool_layer &＃61; nn.MaxPool2d((2, 2), stride&＃61;(2, 2)) # input:(i, o, size) weights:(o, i , h, w)img_pool &＃61; maxpool_layer(img_tensor)# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; avgpool
# flag &＃61; 1
flag &＃61; 0
if flag:avgpoollayer &＃61; nn.AvgPool2d((2, 2), stride&＃61;(2, 2)) # input:(i, o, size) weights:(o, i , h, w)img_pool &＃61; avgpoollayer(img_tensor)# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; avgpool divisor_override
# flag &＃61; 1
flag &＃61; 0
if flag:img_tensor &＃61; torch.ones((1, 1, 4, 4))avgpool_layer &＃61; nn.AvgPool2d((2, 2), stride&＃61;(2, 2), divisor_override&＃61;3)img_pool &＃61; avgpool_layer(img_tensor)print("raw_img:\n{}\npooling_img:\n{}".format(img_tensor, img_pool))# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; max unpool
# flag &＃61; 1
flag &＃61; 0
if flag:# poolingimg_tensor &＃61; torch.randint(high&＃61;5, size&＃61;(1, 1, 4, 4), dtype&＃61;torch.float)maxpool_layer &＃61; nn.MaxPool2d((2, 2), stride&＃61;(2, 2), return_indices&＃61;True)img_pool, indices &＃61; maxpool_layer(img_tensor)# unpoolingimg_reconstruct &＃61; torch.randn_like(img_pool, dtype&＃61;torch.float)maxunpool_layer &＃61; nn.MaxUnpool2d((2, 2), stride&＃61;(2, 2))img_unpool &＃61; maxunpool_layer(img_reconstruct, indices)print("raw_img:\n{}\nimg_pool:\n{}".format(img_tensor, img_pool))print("img_reconstruct:\n{}\nimg_unpool:\n{}".format(img_reconstruct, img_unpool))# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; linear
flag &＃61; 1
# flag &＃61; 0
if flag:inputs &＃61; torch.tensor([[1., 2, 3]])linear_layer &＃61; nn.Linear(3, 4)linear_layer.weight.data &＃61; torch.tensor([[1., 1., 1.],[2., 2., 2.],[3., 3., 3.],[4., 4., 4.]])linear_layer.bias.data.fill_(0.5)output &＃61; linear_layer(inputs)print(inputs, inputs.shape)print(linear_layer.weight.data, linear_layer.weight.data.shape)print(output, output.shape)# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; visualization &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;
# print("池化前尺寸:{}\n池化后尺寸:{}".format(img_tensor.shape, img_pool.shape))
# img_pool &＃61; transform_invert(img_pool[0, 0:3, ...], img_transform)
# img_raw &＃61; transform_invert(img_tensor.squeeze(), img_transform)
# plt.subplot(122).imshow(img_pool)
# plt.subplot(121).imshow(img_raw)
# plt.show()