問題定義:分為兩個域,source和target,其中source和target的類別一致,source影象有標註資訊,target影象沒有標註資訊,如何得到一個target上的模型。
Transferrable Prototypical Networks for Unsupervised Domain Adaptation (CVPR19)
motivation:
領域自適應的關鍵是如何減小source和target的特徵的分歧。現有的方法直接align source和target的整體分佈,忽略了細粒度的domain gap。本文提出在類別和樣本的粒度上減小領域的分歧。
方法:
原型網路
利用source資料預訓練模型,得到source的每個類原型,對target的影象分配偽標籤。
根據target上分配的偽標籤,選擇預測分數大於某個閾值的target影象,形成source/target/source-target的類原型{us,ut,ust}。
最小化{us,ut,ust}的距離。(類別的細粒度)L1
最小化每個樣本根據{us,ut,ust}預測分數分佈的KL散度。(樣本細粒度) L2
整體的loss:L1 + L2 + source影象的分類loss
交替更新2-5步。
測試時,可以採用{us,ut,ust}任一種原型對target image進行分類
問題:
從實驗上來看減小類別的細粒度分歧更有效。
交替更新時,更新多少次?每次更新需要預測出所有target的影象類別,計算代價大。