作者丨子安
學校丨義大利特倫託大學碩士
研究方向丨自動化神經架構搜尋
如今的深度學習界，自動化神經架構搜尋 （Neural Architecture Search） 正風起雲湧，相信不久手工設計將成為歷史。剛剛過去的 CVPR 2019 上，標題含有 architecture search 字眼的就有 10 篇，比如 Google Brain 的 MnasNet，NAS-FPN，李飛飛團隊 Auto-DeepLab，Facebook 的 FbNet 等，國內也有像中科院和地平線合作的 RENAS、UISEE 的 Partial Order Pruning 等。
由於 NAS 技術的不斷革新，目前最新成果已經可以直接在手機端和 IoT 端落地，NAS 對於深度學習工業界產生的影響將是革命性的，並且意義深遠。
分類是絕大多數可監督視覺任務的基礎，比如分割和檢測都用分類的網路做骨幹網。正因如此，NAS 界即從 CIFAR-10 開始，目前大家主攻 ImageNet，在各個模型量級不斷推陳出新，在分割和檢測任務上亦有不俗的斬獲 （Auto-DeepLab， NAS-FPN）。
近日，
小米 AI 實驗室 AutoML 團隊剛剛公佈了最新研究成果 FairNAS
，主打的 ImageNet 1k 分類任務在 MobileNetV2 這個量級已經擊敗 MIT 韓松團隊的 Proxyless mobile （ICLR2019）， Google Brain 的 MnasNet（CVPR 2019） 及 Facebook 的 FBNet （CVPR 2019），是目前最新 SOTA，該團隊第一時間也附上了模型及驗證程式碼。
論文連結：
PaperWeekly
原始碼連結：fairnas/FairNAS
FairNAS 的方法是對 NAS 界 One-Shot 派的繼承和發揚。One-Shot 派由 Google Brain 創立，主張權重可共享，從頭到尾訓練一個超網 （只完整訓練一個超網，這也是 One-shot 的命名之義），每個模型是超網的一次取樣子模型。這樣做的好處是不需要將每個模型進行耗時的訓練才知道其表徵能力，因此以大幅提升 NAS 的效率著稱，目前已成為 NAS 的主流。
但 One-Shot 的前提是假定權重共享是有效的，並且模型能力能夠透過這種方式快速及準確的驗證。要評估模型能力，就好像給一個班的同學考一場試，用明確的考分來決定誰學習不錯，誰學習還薄弱一些，雖然不能完全展示每個學生的能力和優勢，但總得需要放在同一個尺度上考量。
目前 NAS 評定模型能力的方式，就好比給各個模型一道相同的考題，考的好的就是好模型，不好的就是差模型。但往往有情況是差模型底子並不差，只是訓練不得當，所以結果比較差。或者訓練不充分，結果比較差。
這種情況就有點像馬太效應，家庭條件好的一代比一代強，條件不好的反而陷入迴圈困境。所以
在訓練過程中，給予相同的機會和條件來提升其能力是很重要的。
這也是小米 AI 實驗室 AutoML 團隊提出 FairNAS 的核心之處。這一點是被過去的研究有所忽略的。
FairNAS 認為，
公平的取樣方式和訓練方法可以發揮各組成模組的潛能
，最終超網訓練完成後，取樣所得模型可以快速使用超網中的權重在驗證集上得到比較穩定的效能指標，這一過程好比一群孩子給予了相同條件的集體培養，多年以後他們顯現出的不同就是其真正的天分和努力。這個公平的演算法幾乎能完全保持模型的排序，從超網取樣的模型和單獨訓練的模型最終有近乎完全一樣的排名。
具體來講，怎麼才能保證公平呢？FairNAS 提出了要滿足 Strict Fairness，這個約束條件是超網的每單次迭代讓每一層可選擇運算模組的引數都要得到訓練。
從這個定義來看，目前包括 Google 的 One-shot ，MIT 韓松的 Proxyless，曠視的 Single Path One-Shot （SPOS） 都沒有滿足。從結果來看，Google 的 one-shot 分佈域（相當於集體培養後的）比較分散，而 stand-alone 分佈域（相當於單獨培養的）比較集中，這裡的問題是集體培養後表現低，而如果單獨培養也並不會很差。所以有可能是培養過程中有所側重，導致了有些得到了重點培養，而有些被遺忘了。
▲ 谷歌 One-shot 與 Stand-alone 分佈對比
原作 Bender 等用對稱 KL 散度來解釋其相關性，但也不無遲疑地發問：為何二者相差這麼大呢？
他們認為訓練超網會讓其更聚焦有用的運算模組，而對沒那麼重要的進行捨棄。這一點上，FairNAS 並沒有採取這個策略，而是讓每個運算模組都得到充分訓練，這樣最終取樣模型的每個運算單元均可表現其真實能力。
▲ FairNAS 超網訓練過程和one-shot 取樣分佈
從圖中可以看出，FairNAS 的 one-shot 取樣模型普遍水平均要高出曠視的 SPOS，這應該是得益於更公平的訓練和取樣方式。Supernet 的平均訓練精度也是穩步地高出 SPOS。
FairNAS 與 SPOS 的均勻取樣不同，採取了不放回取樣方式和多步訓練一次引數更新的方式，這個改動帶來了one-shot 分佈和 supernet 訓練的整體提升。
FairNAS 發現，儘管均勻取樣看上去很誘人，但只是滿足了論文定義的期望公平 （Expectation Fairness， EF），直覺上的公平在實際 20 次迭代以後已經喪失殆盡，論文給出了引理 1 中滿足 EF 但同一層兩個計算模組被公平選擇的機率最終為 0 的證明。
FairNAS 的訓練和取樣演算法如下：
此外，為了繼承之前的工作，小米 AI 實驗室 AutoML 團隊將如此訓練的 Supernet 作為其年初工作 MoreMNAS 的評估器，從而在此基礎上進行結合強化和演化的多目標最佳化搜尋過程，並給出了多組消去實驗，證明要比純 RL 或 EA 要優越。
在搜尋過程完成後，FairNAS 單獨從頭訓練的 stand-alone 模型和 one-shot 取樣得到的模型排序相對穩定，用 Kendall Tau 這個指標算得是 0。9487。這個指標在 Google 的 One-shot 和曠視 SPOS 中並未有呈現。
FairNAS 最後給出了與當前 NAS SOTA 方法模型的對比，在 MobilenetV2 這個量級已經達到當前最好水平。
可喜的是，AutoML 團隊也給出了預訓練和搭建模型，以分類任務為基礎的視覺任務均可以受益。未來希望小米 AI 實驗室的 AutoML 團隊可以給我們帶來更多的驚喜。
參考文獻
［1］ FairNAS論文： FairNAS： Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search，
https：//
arxiv。org/pdf/1907。0184
5。pdf
［2］ FairNAS開源模型地址：
https：//
github。com/fairnas/Fair
NAS
［3］ Chu et al。， MoreMNAS： Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search，
https：//
arxiv。org/abs/1901。0107
4
［4］ CVPR 2019 接收論文列表：
http：//
cvpr2019。thecvf。com/pro
gram/main_conference
［5］ George Adam， Jonathan Lorraine：
Understanding Neural Architecture Search Techniques
，
https：//
arxiv。org/pdf/1904。0043
8。pdf
［6］ Han Cai， Ligeng Zhu， Song Han，
PROXYLESSNAS： DIRECT NEURAL ARCHITECTURE SEARCH ON TARGET TASK AND HARDWARE，
https：//
arxiv。org/pdf/1812。0033
2v1。pdf
［7］ Mingxing Tan et al， MnasNet：
Platform-Aware Neural Architecture Search for Mobile
，
https：//
arxiv。org/pdf/1807。1162
6v1。pdf
［8］ Bender et al。，
Understanding and Simplifying One-Shot Architecture Search
［9］ Bichen Wu et al。，
FBNet： Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search
［10］ Guo et al。，
Single Path One-Shot Neural Architecture Search with Uniform Sampling
#投 稿 通 道#
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？
答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是
最新論文解讀
，也可以是
學習心得
或
技術乾貨
。我們的目的只有一個，讓知識真正流動起來。
來稿標準：
• 稿件確係個人
原創作品
，來稿需註明作者個人資訊（姓名+學校/工作單位+學歷/職位+研究方向）
• 如果文章並非首發，請在投稿時提醒並附上所有已釋出連結
• PaperWeekly 預設每篇文章都是首發，均會新增“原創”標誌
投稿方式：
• 方法一：在PaperWeekly知乎專欄頁面點選“投稿”，即可遞交文章
• 方法二：傳送郵件至：
hr@paperweekly。site
，所有文章配圖，請單獨在附件中傳送
• 請留下即時聯絡方式（微信或手機），以便我們在編輯釋出時和作者溝通
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點選
「交流群」
，小助手將把你帶入 PaperWeekly 的交流群裡。
加入社群：
http：//paperweek。ly
微信公眾號：PaperWeekly
新浪微博：@PaperWeekly
