06-02 How to choose step sizes

Gradient descent를 반복할 때, step size는 \(x\) 값을 갱신하며 그 값에 따라 optimal로 수렴하는 속도를 달라지게 만들거나 혹은 발산하게 한다. 이 절에서는 step size 값을 적절하게 도출하는 방법을 다음 세가지로 제시하면서 gradient descent 기법 안에서 더 빠르게 optimal 값을 찾을 수 있도록 한다.

  • Fixed step size
  • Backtracking line search
  • Exact line search