less than 1 minute read

Tags: , , ,

神經網路調教

  • Input Preprocessing

    Imgur

  • Feature Scaling

    Imgur

    • Batch Normalization

      Imgur

      Imgur

    • Why Batch Normalization

      • 減少了 internal covariate shift 帶來的問題,使得訓練過程中可以使用較高的 learning rate 進而加快了訓練速度。
      • 依照 activation function 的特性,BN 可以減少 梯度消失/爆炸 的問題!
  • Activation function

    Imgur

  • Loss Function

    • regression

      Imgur

    • classification

      Imgur

  • Optimizer

    • SGD: Stochastic Gradient Descent
    • Adagrad: Adaptive Learning Rate
    • RMSprop: Another Adaptive Learning Rate optimizer
    • Adam: RMSprop + Momentum
    • Nadam: Adam + Nesterove Momentum

    opt