深入解析梯度反转层（GRL）的工作原理与应用

作者：有海的地方最美_171 | 来源：互联网 | 2024-10-29 12:17

近期研究了迁移学习领域中的DANN和DAAN算法，发现这两种方法均采用了梯度反转层（GRL）。本文将重点探讨GRL的工作机制及其在DANN中的具体应用，解释其如何通过反向传播过程中的梯度反转，实现源域和目标域之间的特征解耦，从而提升模型的泛化能力。

最近在看迁移学习中的DANN算法和DAAN算法&＃xff0c;二者都用到了GRL层&＃xff0c;是一种梯度翻转层&＃xff0c;这里主要想讲一下梯度翻转层为什么有用。
以DANN为例&＃xff0c;倘若梯度翻转层不存在&＃xff0c;那么&＃xff0c;算法在迭代过程中&＃xff0c;在减少Ly的时候&＃xff0c;Gf层的各个卷积层的参数会趋向于减少Ly损失&＃xff0c;提高标签分类精度&＃xff1b;在减少Lg的时候&＃xff0c;Gf层的各个卷积层的参数会趋向于减少Lg损失&＃xff0c;也就是使得源数据和目标数据通过Gf层后的区别愈加明显&＃xff0c;即提高域分类精度&＃xff0c;这不是我们想要的&＃xff0c;我们的目标是让区别越来越小&＃xff0c;从而达到生成的目标数据特征和源数据特征相似&＃xff0c;从而缩小边缘分布差异。最终函数收敛的时候&＃xff0c;参数会在提高标签分类精度和提高域分类精度之间平衡。
如何平衡呢&＃xff1f;Gf前的参数尽量向着提高域分类精度方向变化&＃xff0c;而Gf后用于标签分类的全连接层参数会向着提高标签分类精度的方向变化&＃xff0c;也就是说&＃xff0c;后者参数逐渐适应前者参数&＃xff0c;而前者参数的变化有利于提高Gf后用于域分类的精度&＃xff0c;也就是说&＃xff0c;Gf前的参数将就域分类&＃xff0c;Gf后用于标签分类的全连接层参数将就Gf前的参数&＃xff0c;Gf后用于域分类的全连接层的参数将就Gf前的参数从而提高域分类精度&＃xff0c;最终二者达到平衡&＃xff0c;使得域分类精度很高&＃xff0c;标签分类精度也很高&＃xff0c;但是一旦把目标数据用于标签分类&＃xff0c;则由于它和源数据的区别太大了&＃xff08;因为域分类精度高&＃xff0c;意味着目标数据和源数据二者存在明显的特征不同&＃xff0c;即通过Gf层之后的边缘分布差异非常大&＃xff09;&＃xff0c;使得他们通过Gf层后生成的特征差异很大&＃xff0c;那么目标数据特征再通过Gf后的标签分类全连接层时得到的分类结果差异将非常大&＃xff01;即测试精度非常低&＃xff0c;别忘了我们的目标是使得目标数据通过后标签分类精度大。
所以不能对域分类太仁慈&＃xff0c;它不应该提高精度&＃xff0c;所以我们反向梯度更新&＃xff0c;当Gf后的域分类全连接层反向传播的时候&＃xff0c;传播到Gf的时候&＃xff0c;让它们反向更新层数&＃xff08;即梯度翻转层&＃xff09;&＃xff0c;从而使得Gf产生的特征向着增大域分类精度&＃xff0c;也就是缩小目标数据和源数据特征差异的方向发展&＃xff0c;这样的话才是我们的目标&＃xff0c;然后Gf层后的标签分类层参数会将就Gf层参数&＃xff0c;得到好的标签分类精度&＃xff0c;而域分类器很蒙蔽啊&＃xff0c;反向传播了反而精度下降了&＃xff0c;所以再继续反向传播&＃xff0c;殊不知由于梯度翻转层&＃xff0c;你以为你在做对的事&＃xff0c;其实是无用功&＃xff0c;梯度全部反向更新了。这样的话每一次迭代&＃xff0c;Gf参数都向着促使域分类精度下降的方向变化&＃xff0c;而Gf后的标签分类全连接层的参数向着分类精度增大的方向发展&＃xff0c;将就Gf层的参数。域分类器则依然努力反向传播&＃xff0c;但是由于梯度翻转层&＃xff0c;所以最终的结果是标签分类器精度高&＃xff0c;全连接层的参数将就特征层&＃xff08;Gf前的层&＃xff09;的参数。而域分类器精度差&＃xff0c;因为没次梯度更新都不会使特征层产生的源数据特征和目标数据特征更加有区分度&＃xff0c;反而由于翻转层&＃xff0c;它们的区别越来越小&＃xff0c;进而达到了混淆目标数据和源数据的目的&＃xff0c;所以最终源数据和目标数据几乎边缘分布相同。

算法

推荐阅读

算法
深入理解KMP算法中的next数组：北大OJ 2406题解

本文详细探讨了KMP算法中next数组的构建及其应用，重点分析了未改良和改良后的next数组在字符串匹配中的作用。通过具体实例和代码实现，帮助读者更好地理解KMP算法的核心原理。 ... [详细]

蜡笔小新 2024-12-28 11:30:01
算法
深入解析Android自定义View面试题

本文探讨了Android Launcher开发中自定义View的重要性，并通过一道经典的面试题，帮助开发者更好地理解自定义View的实现细节。文章不仅涵盖了基础知识，还提供了实际操作建议。 ... [详细]

蜡笔小新 2024-12-28 11:15:04
算法
C++实现经典排序算法

本文详细介绍了七种经典的排序算法及其性能分析。每种算法的平均、最坏和最好情况的时间复杂度、辅助空间需求以及稳定性都被列出，帮助读者全面了解这些排序方法的特点。 ... [详细]

蜡笔小新 2024-12-27 19:25:14
算法
使用动态规划算法求解0-1背包问题

本文介绍如何利用动态规划算法解决经典的0-1背包问题。通过具体实例和代码实现，详细解释了在给定容量的背包中选择若干物品以最大化总价值的过程。 ... [详细]

蜡笔小新 2024-12-27 19:17:15
算法
深入理解设计模式与七大原则

本文详细探讨了Java中的24种设计模式及其应用，并介绍了七大面向对象设计原则。通过创建型、结构型和行为型模式的分类，帮助开发者更好地理解和应用这些模式，提升代码质量和可维护性。 ... [详细]

蜡笔小新 2024-12-27 19:10:10
算法
Java并发编程：LinkedBlockingQueue的实际应用

本文介绍了Java并发库中的阻塞队列（BlockingQueue）及其典型应用场景。通过具体实例，展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递，并结合线程池和原子类优化性能。 ... [详细]

蜡笔小新 2024-12-27 18:51:49
算法
USACO 2014 Jan - Moolympics区间记录优化算法

题目描述：给定n个半开区间[a, b)，要求使用两个互不重叠的记录器，求最多可以记录多少个区间。解决方案采用贪心算法，通过排序和遍历实现最优解。 ... [详细]

蜡笔小新 2024-12-27 18:14:31
算法
深入理解C++中的KMP算法：高效字符串匹配的利器

本文详细介绍C++中实现KMP算法的方法，探讨其在字符串匹配问题上的优势。通过对比暴力匹配（BF）算法，展示KMP算法如何利用前缀表优化匹配过程，显著提升效率。 ... [详细]

蜡笔小新 2024-12-27 14:45:30
算法
LeetCode 991：故障计算器的最优解法

探讨一个显示数字的故障计算器，它支持两种操作：将当前数字乘以2或减去1。本文将详细介绍如何用最少的操作次数将初始值X转换为目标值Y。 ... [详细]

蜡笔小新 2024-12-27 14:34:44
算法
Java面试题解析

本文详细介绍了Java编程语言中的核心概念和常见面试问题，包括集合类、数据结构、线程处理、Java虚拟机（JVM）、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题，帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]

蜡笔小新 2024-12-27 13:55:14
算法
设计一个安全的加密与验证算法

本文探讨如何设计一个安全的加密和验证算法，确保生成的密码具有高随机性和低重复率，并提供相应的验证机制。 ... [详细]

蜡笔小新 2024-12-27 13:49:45
算法
深入解析：手把手教你构建决策树算法

本文详细介绍了机器学习中广泛应用的决策树算法，通过天气数据集的实例演示了ID3和CART算法的手动推导过程。文章长度约2000字，建议阅读时间5分钟。 ... [详细]

蜡笔小新 2024-12-27 13:44:59
算法
C语言实现小写金额转换为大写金额

在金融和会计领域，准确无误地填写票据和结算凭证至关重要。这些文件不仅是支付结算和现金收付的重要依据，还直接关系到交易的安全性和准确性。本文介绍了一种使用C语言实现小写金额转换为大写金额的方法，确保数据的标准化和规范化。 ... [详细]

蜡笔小新 2024-12-27 12:39:06
算法
每日一题：寻找与众不同的数字

在给定的数组中，除了一个数字外，其他所有数字都是相同的。任务是找到这个唯一的不同数字。例如，findUniq([1, 1, 1, 2, 1, 1]) 返回 2，findUniq([0, 0, 0.55, 0, 0]) 返回 0.55。 ... [详细]

蜡笔小新 2024-12-27 12:19:16
神经网络
理解感受野与锚框在目标检测中的应用

本文探讨了卷积神经网络（CNN）中感受野的概念及其与锚框（anchor box）的关系。感受野定义了特征图上每个像素点对应的输入图像区域大小，而锚框则是在每个像素中心生成的多个不同尺寸和宽高比的边界框。两者在目标检测任务中起到关键作用。 ... [详细]

蜡笔小新 2024-12-27 12:03:44

有海的地方最美_171

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章