問題定義:分為兩個域,source和target,其中source和target的類別一致,source影象有標註資訊,target影象沒有標註資訊,如何得到一個target上的模型。

Transferrable Prototypical Networks for Unsupervised Domain Adaptation (CVPR19)

motivation:

領域自適應的關鍵是如何減小source和target的特徵的分歧。現有的方法直接align source和target的整體分佈,忽略了細粒度的domain gap。本文提出在類別和樣本的粒度上減小領域的分歧。

方法:

原型網路

利用source資料預訓練模型,得到source的每個類原型,對target的影象分配偽標籤。

根據target上分配的偽標籤,選擇預測分數大於某個閾值的target影象,形成source/target/source-target的類原型{us,ut,ust}。

最小化{us,ut,ust}的距離。(類別的細粒度)L1

最小化每個樣本根據{us,ut,ust}預測分數分佈的KL散度。(樣本細粒度) L2

整體的loss:L1 + L2 + source影象的分類loss

交替更新2-5步。

測試時,可以採用{us,ut,ust}任一種原型對target image進行分類

無監督的領域自適應

問題:

從實驗上來看減小類別的細粒度分歧更有效。

交替更新時,更新多少次?每次更新需要預測出所有target的影象類別,計算代價大。