Transformer在CV領域的應用研究會不會反哺NLP領域？

qhd19962021-06-19 21:35:47

不開玩笑，CV 、NLP、Graph相互補充形成完美閉環。

知乎使用者2021-06-19 21:47:49

NLP 領域已經有足夠多的預訓練 Transformer 的研究。如果 Transformer 在 CV 和 Graph 上進一步發展，或許也將出現足夠多效能強大的預訓練模型。

Towards a Universal Continuous Knowledge Base

劉洋老師最近提出連續知識庫的概念，

我們提出了一種建立連續知識庫（CKB）的方法，可以儲存從多個不同的神經網路匯入的知識。方法的關鍵思想是為每個神經網路定義一個介面，並將知識轉移作為一個函式模擬問題。關於文字分類的實驗顯示了有希望的結果：CKB 從一個單一的模型中匯入知識，然後將知識匯出到一個新的模型中，取得了與原始模型相當的效能。更有趣的是，我們將多個模型的知識匯入到知識庫中，再將融合後的知識匯出到單個模型中，取得了比原始模型更高的準確性。有了CKB，也就很容易實現知識的提煉和遷移學習。我們的工作為建立一個通用的連續知識庫打開了大門，以收集、儲存和組織為不同人工智慧任務訓練的各種神經網路中編碼的所有連續知識。

據劉洋老師說，CKB 的研究尚不完全成熟，實驗還沒有完全實現構想，就現有的實驗來講表現出了一定的知識遷移能力。CKB 的研究包含了不同神經網路之間的知識遷移，例如 CNN 到 RNN、RNN 到 CNN。而如果 Transformer 足以在不同場景下通吃，那麼知識在不同模型之間的遷移問題就大大緩解，重點就在於不同任務之間的遷移。

如果該構想得以實現，那麼，在不同資料、不同的 CV、NLP、Graph 任務上得到的預訓練模型中蘊含的知識，有可能得到整合，人工智慧研究將會站上一個新的臺階吧。

Timothyxxx2021-06-20 02:13:03

VilBERT，VideoBERT，ActBERT模型的提出，影片資訊抽取，影片問答等等任務的提出都暗示著肯定有一個平行世界不存在CV再反哺回到NLP，而是直接完成統一

chadui1232021-06-20 13:08:34

已有“反哺”，或曰借鑑或遷移了。

而這樣做的表面看來不同模態的資訊到知識到決策的橫向研究，也有利於走向所謂強AI的底層思維或新正規化。

yearn2021-06-21 15:46:53

在MSRA的時候老闆專門做CV裡的transformer，也看過一段時間NLP中的CNN，其中本質上都是embedding，只不過NLP和CV有不同的結構化資訊，需要定製設計方案而已。

Transformer在CV中確實展示了很多的設計技巧，有很多transformer和高階CNN正規化聯合起來組成更強更快transformer的工作 （deformable Detr）。不止如此，CNN在NLP中達到的效果也是非常不錯的，最近也有人用CNN代替attention做預訓練效果很不錯。

與此同時Global-Local一直是transformer改進的核心之一，無論是CV還是NLP，而conv其實就是非常非常local的attention，所以到底是CNN->TRANSFORMER，還是TRANSFORMER->CNN呢？老闆說過：目前CNN和attention的邊界已經越來越模糊了，誰強誰弱尚未可知（狗頭。

MLP完全替代上面兩者的可能性就更小了，transformer的引數量和計算複雜度已經很被人詬病了，更何況完全體的MLP。目前來看所謂完全的MLP還是非常難得，除非又回到local版的mlp，那再改改就是conv了。