CVPR2020Oral：1行代码提升迁移性能中科院计算所研究生1作-量子比特
- 时间:
- 浏览:0
迁移学习任务存在以下问题：。
由于目标域没有标签，因此在接口附近经常会混淆很多数据。
中科院计算所的在校研究生崔书豪等人提出了一种新的解决方法，即批核定额最大化（Batch Nuclear-norm Maximization，BNM）
在典型标签不足的场景（如半监督学习）中，BNM可以有效地提高学习效果。
此外，多项实验表明，BNM的性能优于目前主流方法，组合使用效果较好。
本文作为CVPR2020Oral收到。
主要的想法
类别预测的判别性和多样性同时指向批响应矩阵的核范数，由此能够最大化批核范数，提高迁移问题中目标域的性能。
通过分析由批类别响应构成的批矩阵A，能够根据判别性和迁移性来尝试最优化。
判别性
判别性是指预测类别的过程是否可靠。例如，对两种问题的响应：1、[0.9、0.1]判别性高2、[0.6、0.4]判别性低。
在一般方法中，熵被最小化以获得更高的辨别性。我们发现矩阵A的F范数具有与熵相反的单调性，最大化A的F范数可以提高判别性。
多样性
多样性可以近似地表示为批处理矩阵中预测的类别数，即预测的类别数多时响应多样性大。
考虑到不同类别的响应的线性相关性，如果两个响应属于不同类别，则响应区分大的线性相关性，如果属于相同类别，则近似线性相关：1、[0.9、0.1]与[0.1、0.9]线性相关无关，[0.9、0.1]为[0.8、0.2]近似线性相关。
预测类别数是矩阵中最大的线性无关向量数，即矩阵的等级。
BNM
核范数是矩阵奇异值的和，数学上有两个结论：
1、核范数与F范数的相互限制极限2，核范数为矩阵秩的凸近似
因此，类预测的判别性和多样性同时指向矩阵的核范数，可以使矩阵核范数（BNM）最大化，提高预测的性能。
例如，在上图中，使用熵最小化（EntMin）和BNM进行优化时，在熵相同的情况下，使用BNM优化时，核范数容易变大，预测具有较少数量的类别（绵羊）
实施
在一般的框架Pytorch和Tensorflow中，BNM可以用一行代码实现。
Pytorch：
TensorFlow：
应用
我们将BNM应用于缺少三个标签的场景：半监督学习、区域自适应和开放区域物体识别。
实验表明，在半监督学习中可以提高现有方法。在区域自适应方面，BNM约束明显优于Entmin，单个BNM约束可以达到与现有方法相近的性能，下图：
开放域物体识别中的单个BNM约束超过具有冗余损耗函数的UDPTN以实现SOTA性能。下图：
同时，在开放域物体识别中，统计随机采样的体响应中未知类的比例。图：
我们发现BNM确实可以保持未知类所占的比例，从而保障总体预测的类数和准确性，从而保持多样性。
此方法主要关注缺少标签的场景下界面附近数据密度高的问题，通常针对与迁移相关的任务进行了改进。
作者简介
论文作者是中科院计算所学生崔书豪、卓君宝、计算所副研究员王树徽、李亮、国科大讲座教授黄庆明和华为诺亚方舟实验室田奇博士。
本文第一作者崔书豪，2018年本科毕业于清华大学自动化系，现为中科院计算所VIPL实验室二年级硕士生，研究方向为深度领域适应学习和开放领域学习技术。导师王树徽长期从事模态横断、域横断分析推理技术的研究
值得一提的是，崔书豪第一作者向CVPR2020提交了两篇论文，另一篇是Gradually消失Bridge for Adversarial Domain Adaptation，目前仍在接收。
传输门
论文来源：https：//arxiv.org/pdf/2003.12237.pdf
第二篇CVPR：https：//arxiv.org/abs/2003.13183
BNM项目Github主页：https：//github.com/cuishuhao/BNM
崔书豪知道：https：//zhuanlan.zhihu.com/p/121507249