查看和理解TensorBoard中的标量值非常简单.但是,目前还不清楚如何理解直方图.
例如,它们是我的网络权重的直方图.
(由于sunside修复了一个bug)
解释这些的最佳方法是什么?第1层重量看起来大致平坦,这意味着什么?
我在这里添加了网络构造代码.
X = tf.placeholder(tf.float32, [None, input_size], name="input_x")
x_image = tf.reshape(X, [-1, 6, 10, 1])
tf.summary.image('input', x_image, 4)
# First layer of weights
with tf.name_scope("layer1"):
W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer1 = tf.matmul(X, W1)
layer1_act = tf.nn.tanh(layer1)
tf.summary.histogram("weights", W1)
tf.summary.histogram("layer", layer1)
tf.summary.histogram("activations", layer1_act)
# Second layer of weights
with tf.name_scope("layer2"):
W2 = tf.get_variable("W2", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer2 = tf.matmul(layer1_act, W2)
layer2_act = tf.nn.tanh(layer2)
tf.summary.histogram("weights", W2)
tf.summary.histogram("layer", layer2)
tf.summary.histogram("activations", layer2_act)
# Third layer of weights
with tf.name_scope("layer3"):
W3 = tf.get_variable("W3", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer3 = tf.matmul(layer2_act, W3)
layer3_act = tf.nn.tanh(layer3)
tf.summary.histogram("weights", W3)
tf.summary.histogram("layer", layer3)
tf.summary.histogram("activations", layer3_act)
# Fourth layer of weights
with tf.name_scope("layer4"):
W4 = tf.get_variable("W4", shape=[hidden_layer_neurons, output_size],
initializer=tf.contrib.layers.xavier_initializer())
Qpred = tf.nn.softmax(tf.matmul(layer3_act, W4)) # Bug fixed: Qpred = tf.nn.softmax(tf.matmul(layer3, W4))
tf.summary.histogram("weights", W4)
tf.summary.histogram("Qpred", Qpred)
# We need to define the parts of the network needed for learning a policy
Y = tf.placeholder(tf.float32, [None, output_size], name="input_y")
advantages = tf.placeholder(tf.float32, name="reward_signal")
# Loss function
# Sum (Ai*logp(yi|xi))
log_lik = -Y * tf.log(Qpred)
loss = tf.reduce_mean(tf.reduce_sum(log_lik * advantages, axis=1))
tf.summary.scalar("Q", tf.reduce_mean(Qpred))
tf.summary.scalar("Y", tf.reduce_mean(Y))
tf.summary.scalar("log_likelihood", tf.reduce_mean(log_lik))
tf.summary.scalar("loss", loss)
# Learning
train = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)
sunside..
114
似乎网络没有在第一层到第三层中学到任何东西.最后一层确实发生了变化,这意味着渐变可能有问题(如果你手动篡改它们),你只是通过优化其权重或最后一层来限制学习到最后一层.吃掉'所有的错误.也可能只是学习了偏见.虽然网络似乎学到了一些东西,但它可能没有充分利用它的潜力.这里需要更多的背景,但是学习率(例如使用较小的学习率)可能值得一试.
通常,直方图显示值相对于彼此值的出现次数.简单地说,如果可能的值是在一个范围内的0..9
,你看到量的穗10
上的值0
时,这意味着10个输入采取值0
; 相反,如果直方图显示1
所有值的平台0..9
,则意味着对于10个输入,每个可能的值恰好0..9
出现一次.当您将所有直方图值按其总和标准化时,您还可以使用直方图来显示概率分布; 如果你这样做,你将直观地获得某个值(在x轴上)出现的可能性(与其他输入相比).
现在layer1/weights
,高原意味着:
大多数重量在-0.15到0.15的范围内
它(大多数)同样可能使重量具有任何这些值,即它们(几乎)均匀分布
换种说法,几乎相同数量的权重有值-0.15
,0.0
,0.15
以及两者之间的一切.有一些权重略微更小或更高.简而言之,这看起来就像权重已经使用均值分布初始化,均值和值范围为零-0.15..0.15
......给定或采用.如果您确实使用统一初始化,那么当网络尚未经过培训时,这是典型的.
相比之下,layer1/activations
形成钟形曲线(高斯)形状:在这种情况下0
,值以特定值为中心,但它们也可能大于或小于(同样可能如此,因为它是对称的).最值出现周围的平均值接近0
,但是从数值范围做-0.8
对0.8
.我假设它layer1/activations
被视为批量中所有图层输出的分布.您可以看到值随时间变化.
第4层直方图没有告诉我任何具体的内容.从形状来看,它只是显示出一些重量值-0.1
,0.05
并且0.25
倾向于以更高的概率发生; 一个原因可能是,每个神经元的不同部分实际上拾取相同的信息并且基本上是多余的.这可能意味着您实际上可以使用较小的网络,或者您的网络有可能学习更多区别特征以防止过度拟合.这些只是假设.
此外,如下面的评论中所述,请添加偏差单位.通过将它们排除在外,您可以将网络强制约束为可能无效的解决方案.
1> sunside..:
似乎网络没有在第一层到第三层中学到任何东西.最后一层确实发生了变化,这意味着渐变可能有问题(如果你手动篡改它们),你只是通过优化其权重或最后一层来限制学习到最后一层.吃掉'所有的错误.也可能只是学习了偏见.虽然网络似乎学到了一些东西,但它可能没有充分利用它的潜力.这里需要更多的背景,但是学习率(例如使用较小的学习率)可能值得一试.
通常,直方图显示值相对于彼此值的出现次数.简单地说,如果可能的值是在一个范围内的0..9
,你看到量的穗10
上的值0
时,这意味着10个输入采取值0
; 相反,如果直方图显示1
所有值的平台0..9
,则意味着对于10个输入,每个可能的值恰好0..9
出现一次.当您将所有直方图值按其总和标准化时,您还可以使用直方图来显示概率分布; 如果你这样做,你将直观地获得某个值(在x轴上)出现的可能性(与其他输入相比).
现在layer1/weights
,高原意味着:
大多数重量在-0.15到0.15的范围内
它(大多数)同样可能使重量具有任何这些值,即它们(几乎)均匀分布
换种说法,几乎相同数量的权重有值-0.15
,0.0
,0.15
以及两者之间的一切.有一些权重略微更小或更高.简而言之,这看起来就像权重已经使用均值分布初始化,均值和值范围为零-0.15..0.15
......给定或采用.如果您确实使用统一初始化,那么当网络尚未经过培训时,这是典型的.
相比之下,layer1/activations
形成钟形曲线(高斯)形状:在这种情况下0
,值以特定值为中心,但它们也可能大于或小于(同样可能如此,因为它是对称的).最值出现周围的平均值接近0
,但是从数值范围做-0.8
对0.8
.我假设它layer1/activations
被视为批量中所有图层输出的分布.您可以看到值随时间变化.
第4层直方图没有告诉我任何具体的内容.从形状来看,它只是显示出一些重量值-0.1
,0.05
并且0.25
倾向于以更高的概率发生; 一个原因可能是,每个神经元的不同部分实际上拾取相同的信息并且基本上是多余的.这可能意味着您实际上可以使用较小的网络,或者您的网络有可能学习更多区别特征以防止过度拟合.这些只是假设.
此外,如下面的评论中所述,请添加偏差单位.通过将它们排除在外,您可以将网络强制约束为可能无效的解决方案.
没有任何偏见可能是一个非常糟糕的想法 - 它就像试图通过(高维度)点云绘制线,但被迫通过值0; 它可能会工作,并会给你_some_解决方案,但可能是一个坏的或完全错误的.