|
|
红色另一个绿色的子网共享其重叠路径中的大部分构建块但仍然存在一些差异。挑战赛的十个领域中的两个领域和的架构块。红色和绿色路径分别代表和的子网络。深粉色节点代表多个域共享的块。浅粉色节点代表每条路径使用的块。该模型是基于类似的搜索空间构建的。图中的块代表块。图中的零块表示子网跳过该块。下面我们展示了挑战赛的十个领域之间的路径相似性。相似度是通过每个域的子网络之间的相似度得分来衡量的其中越高意味着路径越相似。正如人们所预料的那样更相似的领域在生成的路径中共享更多的节点这也是强积极知识转移的信号。
例如相似域如和它们都包含自然图像中的对象的路径具有高分而不同域如和其中包括灰度图像中的行人和自然彩色图像中的人类活动得分较低。十个域的路径之间的杰卡德相似度得分的 美国手机数据列表 混淆矩阵。值的范围是到。值越大表示两条路径共享的节点越多。训练异构多域模型在第二阶段生成的模型针对所有领域从头开始进行训练。为此有必要为所有领域定义统一的目标函数。为了成功处理各种各样的领域我们设计了一种在整个学习过程中进行调整的算法以便跨领域平衡损失称为自适应平衡领域优先级。下面我们展示了在不同设置下训练的模型的准确性模型大小和。我们将与其他三种方法进行比较领域独立分别为每个领域搜索和训练模型。
单路径多头使用预训练模型作为所有域的共享主干每个域具有单独的分类头。多头为所有域搜索统一的骨干架构每个域具有单独的分类头。从结果中我们可以看出领域无关的需要为每个领域构建一组模型从而导致模型规模很大。尽管单路径多头和多头可以显着减少模型大小和但强制域共享相同的主干会引入负面知识转移从而降低整体准确性。模型 参数数量比例 浮点运算次数 平均准确度域独立 倍 单路多头 倍 多头 倍 倍 数据集上模型的参数数量和准确率。所有方法都是基于类似的搜索空间构建的。可以构建小型且高效的模型同时仍保持较高的整体精度。的平均准确度甚至比领域独立方法高出因为该模型能够实现积极的知识转移。
下图比较了这些方法的每个域准确性。每个领域的准确度。我们的评估表明通过使用作为搜索和训练阶段的一部分准确率从提高到增量。在使用和不使用的情况下训练的每个视觉十项全能领域的准确度排名第一。未来的工作我们发现是构建异构网络的有效解决方案以解决中可能的参数共享策略的数据不平衡域多样性负迁移域可扩展性和大搜索空间。通过使用类似的搜索空间生成的模型也是移动友好的。我们正在继续扩展以用于多任务学习以处理与现有搜索算法不兼容的任务并希望其他人可以使用来构建统一的多域模型。致谢这项工作是通过多个团队的协作完成的。我们要感谢和的贡献宣扬
|
|
|
|
|
|
|
|
|
|
发表于 2024-5-9 13:39:43
