歡迎來到《每週CV論文》。在這個專欄裡,還是本著有三AI一貫的原則,專注於讓大家能夠系統性完成學習,所以我們推薦的文章也必定是同一主題的。

影象風格化是生成對抗網路的一大應用,今天給大家推薦初學該領域必須要讀的文章。

作者&編輯 | 言有三

1 有監督Pix2Pix模型

當前大部分基於生成對抗網路的風格化模型都受到了Pix2Pix的影響,或借鑑其部分結構,或借鑑其程式碼。

Pix2Pix是一個條件GAN的變種

,它使用成對的影象作為訓練資料集,完成影象到影象的翻譯,是最經典的有監督影象風格化GAN模型。

文章引用量:3000+

推薦指數:✦✦✦✦✦

【每週CV論文】初學GAN影象風格化必須要讀的文章

[1] Isola P, Zhu J Y, Zhou T, et al。 Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition。 2017: 1125-1134。

2 無監督CycleGAN

Pix2Pix是最經典的有監督影象風格化GAN模型,CycleGAN[2]則是最經典的無監督影象風格化GAN模型,是後續大部分無監督GAN模型的鼻祖。它無須構建一對一對映的訓練資料集,是影象風格化能夠真正得以大規模商業化應用的基礎,類似的框架還有UNIT[3]。

文章引用量:3000+

推薦指數:✦✦✦✦✦

【每週CV論文】初學GAN影象風格化必須要讀的文章

[2] Zhu J Y, Park T, Isola P, et al。 Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision。 2017: 2223-2232。

[3] Liu M, Breuel T M, Kautz J, et al。 Unsupervised Image-to-Image Translation Networks[C]。 neural information processing systems, 2017: 700-708。

3 多領域轉換StarGAN

原始的Pix2Pix,CycleGAN都只能解決兩個領域之間的轉換,雖然也可以對其進行拓展。StarGAN[4-5]的提出則只需要學習一個模型,就可以解決多領域間的轉換問題,是當前最經典的多領域風格遷移框架

文章引用量:600+

推薦指數:✦✦✦✦✦

【每週CV論文】初學GAN影象風格化必須要讀的文章

[4] Choi Y, Choi M, Kim M, et al。 Stargan: Unified generative adversarial networks for multi-domain image-to-image translation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition。 2018: 8789-8797。

[5] Choi Y, Uh Y, Yoo J, et al。 StarGAN v2: Diverse Image Synthesis for Multiple Domains[J]。 arXiv: Computer Vision and Pattern Recognition, 2019。

4 風格編碼框架StyleGAN

在風格轉換中最重要的就是學習到優秀的風格編碼,StyleGAN[6]是當前最好的風格編碼網路,它可以精確控制所生成影象的屬性,是必須掌握的框架

文章引用量:400+

推薦指數:✦✦✦✦✦

【每週CV論文】初學GAN影象風格化必須要讀的文章

[6] Karras T, Laine S, Aila T。 A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition。 2019: 4401-4410。

[7] Karras T, Laine S, Aittala M, et al。 Analyzing and Improving the Image Quality of StyleGAN。[J]。 arXiv: Computer Vision and Pattern Recognition, 2019。

5 典型應用

影象風格化可以用於任何從一個域到另一個或者多個域轉換的場景,不論是影象增強,影象分割,還是特定的風格遷移,這裡我們給大家推薦人臉方向的兩個經典應用,妝造遷移[8]以及人臉動畫風格[9],其他的可以自行學習

文章引用量:30+

推薦指數:✦✦✦✦✧

【每週CV論文】初學GAN影象風格化必須要讀的文章

【每週CV論文】初學GAN影象風格化必須要讀的文章

[8] Li T, Qian R, Dong C, et al。 BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network[C]。 acm multimedia, 2018: 645-653。

[9] Kim J, Kim M, Kang H, et al。 U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation[C]。 international conference on learning representations, 2020。

6 文章解讀

關於GAN影象風格化相關文章的詳細解讀,在有三AI知識星球-網路結構1000變-GAN下有較多的文章,感興趣可以移步。

【每週CV論文】初學GAN影象風格化必須要讀的文章

總結

本次我們介紹了基於GAN的影象風格化領域中值得讀的文章,當前研究重點在於無監督模型,多域轉換,影象細節控制,互動式方法等方向,讀者可以繼續關注。

【每週CV論文】初學GAN影象風格化必須要讀的文章

有三AI知識星球

知識星球是有三AI的付費內容社群,裡面包括各領域的模型學習,資料集下載,公眾號的付費圖文原稿,技術總結PPT和影片,知識問答,書籍下載,專案推薦,線下活動等資源,瞭解詳細請閱讀以下文章:

【每週論文推薦】 初入深度學習CV領域必讀的幾篇文章

【每週CV論文推薦】 掌握殘差網路必讀的10多篇文章

【每週CV論文推薦】 初學者必須精讀的5篇深度學習最佳化相關文章

【每週CV論文推薦】 CV領域中資料增強相關的論文推薦

【每週CV論文推薦】 初學高效率CNN模型設計應該讀的文章

【每週CV論文推薦】 初學目標檢測必須要讀的文章

【每週CV論文推薦】 初學深度學習影象分割必須要讀的文章

【每週CV論文推薦】 初學GAN必須要讀的文章

【每週CV論文推薦】 深度學習人臉檢測入門必讀文章

【每週CV論文推薦】 初學深度學習人臉關鍵點檢測必讀文章

【每週CV論文推薦】 初學深度學習人臉識別和驗證必讀文章

【每週CV論文推薦】 初學深度學習人臉屬性分析必讀的文章

【每週CV論文推薦】 初學活體檢測與偽造人臉檢測必讀的文章

【每週CV論文推薦】 初學深度學習單張影象三維人臉重建需要讀的文章

【每週CV論文推薦】 人臉識別剩下的難題:從遮擋,年齡,姿態,妝造到親屬關係,人臉攻擊

【每週CV論文推薦】換臉演算法都有哪些經典的思路?

【每週CV論文】深度學習文字檢測與識別入門必讀文章

【每週CV論文】深度學習影象降噪應該從閱讀哪些文章開始

【每週CV論文】初學GAN影象風格化必須要讀的文章