titus`s blog titus`s blog

mean square error

• [Regression]최소제곱법(Least-Square Method)과 목적함수(Objective Function)

  Engineering/AI 2021. 4. 17. 01:08

  1. 최소제곱법(Least-Square Method) 최소제곱법은 보통 목적함수가 최소가 되는 계수를 찾는 과정을 의미한다. 주로 회귀 분석이나 수치 해석에서 입력 값과 출력 값의 관계를 규명할 때 사용된다. 선형대수학 관점에서 행렬을 표현하여 증명해보자. $$y_1 = ax_1 + b$$ $$y_2 = ax_2 + b$$ $$\dots$$ $$y_n = ax_n + b$$ 위와 같은 식이 있다고 하자. 위의 식을 실제 데이터에 대입했을 때 발생하는 각 오차를 아래와 같이 정의해보자. $$e_1 = y_1 - (ax_1 + b)$$ $$e_2 = y_2 - (ax_2 + b)$$ $$\dots$$ $$e_n = y_n - (ax_n + b)$$ 이 오차를 통해 매개변수의 최소 값을 구하기 전에 제곱을 해..

  Read More