Solving the Problem of Overfitting 2

Cost Function : article

Regularization:

• Small values for parameters θ0, θ1, …, θn
  • “Simpler” hypothesis
  • Less prone to overfitting

• Regularization:

   J(θ) = 1 / 2m * [ Σ ( hθ * (x^(i)) - y^(i) )^2 + λ Σ θj^2 ]
  

有趣的來了，如果 λ 給超級大，會怎麼樣?

• GG拉! 會 underfit !!

Regularized Linear Regression : article

Regularized linear regression

J(θ) = 1 / 2m * [ Σ ( hθ * (x^(i)) - y^(i) )^2 + λ Σ θj^2 ]

minJ(θ)

Gradient Descent

Normal Equation

真懶惰! 直接貼大神的筆記 XDD

Regularized Logistic Regression : article

寫筆記的時候突然忘記 logistic regression 的 cost function 怎麼來的 XD
速度看自己整理的筆記 + 大神的影片，很快地補腦回來! 哈哈哈 不錯!
這就是我寫這筆記的初衷!!! 發大財 自己的知識寶庫 :)

• Gradient descent

Advanced optimization: