ML 數學觀念:讀 ML 文章時卡住的數學名詞¶
難度:入門。 本頁定位:名詞小辭典。其他文章碰到數學名詞時連到這裡,一個觀念一小節,之後會慢慢加。
凸函數(Convex)¶
損失的形狀像一個碗:沒有會騙人的小坑。只要走到一個最低點,它就是整個函數最低的地方(全域最小值),不會停在假的低點。
- 為什麼重要:梯度下降只會往下走。形狀是碗,就不會卡在假的小坑裡;不是碗,就可能停在平台或小坑裡。
- 凸不保證的事:凸不代表「只有一個最低點」,也不代表一定走得到。例如碗底可能是平的一整片,很多組參數一樣好(特徵完全重複時的線性迴歸);資料可以被一條線完全分開時,邏輯迴歸的權重會一直變大,損失越來越接近最低,但永遠到不了。實務上加正則化就能解決這兩種情況。
- 名字容易誤會:中文叫「凸函數」,但它的樣子其實是往下凹的碗。名字跟形狀剛好相反,別被字面騙了。
- 例子:線性迴歸配 MSE 是凸的;邏輯迴歸配 Cross-Entropy 也是凸的;但邏輯迴歸配 MSE 不是凸的,見〈ML 核心觀念 §4〉的圖。
參考資料¶
- Boyd, S. & Vandenberghe, L.《Convex Optimization》, Cambridge University Press, 2004(Ch3 凸函數、Ch4.2 凸最佳化問題的局部最小值即全域最小值)
- Goodfellow, I., Bengio, Y. & Courville, A.《Deep Learning》, MIT Press, 2016(Ch4.3 梯度下降、Ch6.2 Cross-Entropy 與飽和)
- Hastie, T., Tibshirani, R. & Friedman, J.《The Elements of Statistical Learning》, 2nd ed.(Ch4.4 邏輯迴歸,可分資料時係數發散)