06-03 Convergence analysis

이 절에서는 Gradient descent의 수렴을 분석하려고 한다. 수렴을 위한 오차 상한은 fixed step size의 경우와 backtracking의 경우에 대해서 각각 살펴볼 것이다. 또한, Strong convexity를 만족할 때에 오차 상한에 대해서도 분석할 것이다.