近期聽了江蘇省人工智慧大會和Valse的一些報告,在此分享一下大佬們提到的細粒度學習的未來可以做的工作,對於細粒度感興趣的同學可以看看 @魏秀參 博士的survey:Deep Learning for Fine-Grained Image Analysis: A Survey

細粒度學習、小樣本學習研究趨勢

首先是在江蘇省人工智慧大會小樣本學習論壇上和valse細粒度專題被反覆提到的一個主題:long-tailed distribution,長尾分佈問題也就是說我們所得到的資料裡,多數類的樣本很少,少數類的樣本卻很多,現在常用的benchmark主要是iNaturalist2017、2018,這個資料集上由plants、animals、fungi三部分組成,既存在著細粒度識別的問題,也存在著通用的物體識別的問題,資料也是長尾分佈,現有方法專注於解決資料的長尾分佈,這可能導致一些特徵表示的丟失。

因為現在細粒度資料集,比如CUB200,Sota的方法已經90%多了,所以可能未來應該專注於像iNat這樣的大尺度的資料集。

第二個方向是domain adaption,如何從其他的資料集遷移到細粒度資料集的學習是一個值得關注的工作。以及few shot和細粒度的結合,人類可以靠很少的樣本識別細粒度的物體,如何讓機器也能做到這個,是很值得做的工作。

第三個方向是半監督和無監督,現有細粒度識別大多都是監督學習,半監督和無監督的工作並不多,現實中能收集到的樣本大多都沒有標註,對於細粒度而言,圖片標註可能需要專家才能標註(比如鳥類,普通人無法分辨各種鳥類),這帶來了很大的成本,因此如何採用半監督或者無監督的方法來進行細粒度識別是很關鍵的任務。

第四個是多模態的細粒度識別。利用多種媒體資訊進行細粒度識別、檢索等任務,多媒體也是國家人工智慧2。0計劃的課題,這方面的工作目前大多集中於coarse的任務,如何進行細粒度的任務是很有價值的研究方向。

細粒度學習、小樣本學習研究趨勢

再次感謝各位大佬的分享,對細粒度學習有興趣的同學歡迎一起探討。