論智2018-02-05 11:40:32在深度學習中過擬合不是貶義的
過擬合總是不好的，因為最終模型總是要用於擬合新資料的。過擬合，就意味著對新資料的適應性很差，模型不能在新資料上很好地發揮作用，就好像模擬考一直能拿高分，一旦參加正式考試就發揮失常，這當然是不好的。
（設計臺詞：誰說過擬合不是貶義的？圖片來源：blog。algotrading101。com）
但是，如果一個班級或者學校，絕大多數人都是模擬考高分，一到正式考試就發揮失常的話，那某種程度上而言，“發揮失常”可能就不算貶義了。
深度學習也一樣。伴隨著模型表達力的提升，模型的複雜度也大大增加了。因此，深度學習，普遍存在過擬合的問題。所以，所謂“在深度學習中過擬合不是貶義的”並不是說過擬合在深度學習中就不是壞事了，而是說這個問題太普遍，大家見怪不怪了而已。
當然，見怪不怪的另一方面，是過擬合問題還是有辦法緩解的。否則深度學習也不會這麼流行了。比如，
正則化（regularization）
就可以緩解過擬合的問題。
另一種辦法，就是使用大量訓練資料。過擬合就是對現有的訓練資料擬合得太好了，好過頭了，以至於碰到不太一樣的新資料就歇菜了。用術語來說，就是訓練資料和測試資料的機率分佈差異較大。那麼，反過來思考，如果有辦法讓訓練資料和測試資料的機率分佈差不多，那過擬合不就不成問題了嘛。這個辦法就是收集大量的訓練資料，越多越好，希望足夠多的訓練資料可以很好地逼近未來需要應用模型的資料的機率分佈。
