20頁綜述，共計84篇參考文獻。本文廣泛調研了最近在CV和NLP任務中對比學習表現最佳的自監督方法（如SwAV、MoCo系列、SimCLR系列等）。
A Survey on Contrastive Self-supervised Learning
作者單位：德克薩斯大學阿靈頓分校
論文：
https：//
arxiv。org/abs/2011。0036
2
注：文末附CV學習交流群。
如果上述論文連結無法訪問，可以看文末，論文已上傳至百度雲，方便下載。
自監督學習由於能夠避免註釋大型資料集的成本而受到歡迎。它能夠採用自定義的偽標籤作為監督，並將學習到的表示形式用於多個下游任務。具體而言，對比學習最近已成為計算機視覺，自然語言處理（NLP）和其他領域的自監督學習方法的主要組成部分。它旨在將同一樣本的增強版本彼此靠近地嵌入，同時試圖將嵌入從不同樣本中移開。
本文對遵循對比方法的自監督方法進行了廣泛的回顧。這項工作解釋了對比學習設定中常用的前置任務，以及迄今為止提出的不同體系結構。
接下來，我們對多種下游任務（例如
影象分類，目標檢測和行為識別
）的不同方法的效能進行了比較。
自然語言處理（NLP）中的對比學習
最後，我們總結了當前方法的侷限性以及需要進一步的技術和未來的方向以取得實質性進展的結論。
論文下載
連結：
https：//
pan。baidu。com/s/1btTbOb
2t8pq95bvHuc1Shg
提取碼：cver
CVer-學術交流群
建了CVer微信交流群！想要進計算機視覺學習交流群的同學，可以直接加微訊號：
CVer5555
。加的時候備註一下：研究方向+學校+暱稱，即可。然後就可以拉你進群了。
強烈推薦大家關注
CVer知乎
賬號和
CVer
微信公眾號，可以快速瞭解到最新優質的CV論文。
推薦閱讀
85。4 mIOU！NVIDIA：使用多尺度注意力進行語義分割
深入研究Label Smoothing（標籤平滑）
使用PyTorch時，最常見的4個錯誤
NeurIPS 2020 | Auto-Panoptic：用於全景分割的協作式多元件體系結構搜尋
NeurIPS 20 | RelationNet++： Transformer橋接視覺表示的目標檢測
利用YOLOv4和Deep SORT實現多攝像頭實時目標跟蹤和計數（已開源）
NeurIPS 20 | 超越EfficientNet！TinyNet：玩轉網路的解析度，深度和寬度
漲點技巧！彙集13個Kaggle影象分類專案的效能提升指南
利用知識蒸餾改進目標檢測：面向準確高效的檢測器
使用深度學習從影片中估計車輛的速度（已開源）
ECCV 2020 | 曠視開源LabelEnc：提升目標檢測的新型中間監督方法
這9個技巧讓你的PyTorch模型訓練得飛快！
牛津博士論文 | 學習重建和分割3D目標（143頁PDF）
谷歌剛剛釋出Objectron新資料集，可完美檢測3D目標，超過4百萬幅影象和15K影片剪輯！
綜述 | MIT提出影片理解/行為識別：全面調研（2004-2020）
綜述 | 基於無人機的目標跟蹤的相關濾波器：全面調研
從三個維度加速你的CNN：全面的剪枝框架
Recall Loss：用於不平衡影象分類和語義分割的召回損失
即插即用！Rotate to Attend：卷積Triplet注意力模組
曠視提出MegDetV2：目標檢測/例項分割系統
綜述 | 基於深度學習的醫學影象分割技術：全面調研
ResNet還是DenseNet？即插即用的DS漲點神器來了！
綜述 | 基於深度學習的端到端人臉識別技術：全面調研
TBC：共享Thinner Filters，實現更強的CNN！
綜述 | 行人檢測技術（從手工特徵到深度學習）：全面調研
超越EfficientNets！無需注意力，也能讓你的網路更快更強！
OpenCV 4。5來了！更強的SIFT，改進RANSAC演算法，新增目標跟蹤網路SiamRPN++
綜述 | 基於深度學習的實時語義分割方法：全面調研
漲點神器！南航提出AFF：注意力特徵融合
NeurIPS 2020 | 谷歌大腦提出：重新思考預訓練和自訓練
NeurIPS 2020 | 用於影象復原/恢復的神經稀疏表示
NeurIPS 2020 | aLRPLoss：統一目標檢測中的分類和定位的平衡損失函式
CCE：具有互補交叉熵的不平衡影象分類
谷歌地標檢索2020 Kaggle 第一名解決方案
ECCV AIM 2020 真實影象超解析度挑戰賽3項冠軍解決方案
LVIS 例項分割挑戰賽2020的第一名解決方案：好的Box不能保證好的Mask
ETH Zurich提出DPIR：具有Denoiser先驗的即插即用影象恢復
ECCV 2020 | NAS-DIP：透過NAS實現DIP（去噪/去霧/超解析度/修復等）
綜述 | 小樣本學習：全面調研（Few-shot）
使用深度神經網路從Noisy Labels中學習：全面調研
剪枝filter？還是剪枝layer？這是個問題
ECCV 2020 | WeightNet：重新探索Weight網路的設計空間
ECCV 2020 | 53。5 AP！PAA：用於目標檢測的IoU預測的機率Anchor分配
ECCV 2020 | 南京理工提出FPT：特徵金字塔Transformer
ECCV 2020 | BMask R-CNN：邊界保持的Mask R-CNN
ECCV 2020 | 即插即用！PSConv：將特徵金字塔壓縮到緊湊
