최소제곱법

최소제곱법, 또는 최소자승법, 최소제곱근사법, 최소자승근사법(method of least squares, least squares approximation)은 어떤 계의 해방정식을 근사적으로 구하는 방법으로, 근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합(SS)이 최소가 되는 해를 구하는 방법이다.

붉은 점들을 기반으로 푸른 선의 2차 방정식 근사해를 구한다.

이 방법은 값을 정확하게 측정할 수 없는 경우에 유용하게 사용될 수 있으며, 특히 그 계의 방정식이 어떤 형태인지를 알고 있을 때 방정식의 상수 값들을 추정하는 데에 사용된다.

문제 정의

어떤 계에서 $n$개의 관측값 $(X_{i},y_{i})$($1\leq i\leq n$)가 있다고 가정할 때 설명변수와 종속변수간의 관계식을 추정하고자 한다. 회귀식의 설명변수는 m개가 있다고 가정한다. 설명변수 $x_{ij}$는 표본의 $i$번째 관측값의 $j$번 설명변수의 값으로 표기한다. 이 경우 회귀식은 다음과 같이 표현할 수 있다.

$y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+...+\beta _{m}x_{im}+\epsilon$

이 식을 행렬의 꼴로 축약해 나타내면 다음과 같은 형태로 표현할 수 있다.

$\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\epsilon }}$

여기서 $\mathbf {y}$는 종속변수 관측값을 나타낸 벡터이고, $\mathbf {X}$는 설명변수를 모아 둔 디자인 행렬이다. ${\boldsymbol {\beta }}$는 모수 벡터이고, ${\boldsymbol {\epsilon }}$은 오차항을 모은 벡터이다. 이들을 행렬로 나타내면 다음과 같다.

$\mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}$, $\mathbf {X} ={\begin{bmatrix}1&&x_{11}&&x_{12}&&\cdots &&x_{1m}\\1&&x_{21}&&x_{22}&&\cdots &&x_{2m}\\\vdots &&\vdots &&\vdots &&\cdots &&\vdots \\1&&x_{n1}&&x_{n2}&&\cdots &&x_{nm}\\\end{bmatrix}}$, ${\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}$, ${\boldsymbol {\epsilon }}={\begin{bmatrix}\epsilon _{1}\\\epsilon _{2}\\\vdots \\\epsilon _{n}\end{bmatrix}}$

오차항의 제곱합 $S({\boldsymbol {\beta }})=\sum _{i}\left[y_{i}-(\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+...+\beta _{m}x_{im})\right]^{2}$ 의 값을 최소로 만드는 ${\boldsymbol {\beta }}$를 구하는 것이 문제의 목표이다.

선형 최소제곱법

x에 대응하는 y의 자료들이 있다고 할 때, 여기에 맞는 일차방정식은 $y=ax+b$이다. 여기서 a, b의 값을 알기 위해선 다음의 '정규방정식(normal equation)'을 연립한다.

$a\sum x^{2}+b\sum x=\sum xy$

$a\sum x+bn=\sum y$

응용

 이 부분의 본문은 급수 (상하수도 공학) § 최소제곱법에 의한 방법입니다.

상수도 시설의 규모를 결정할 때 해당 상수도를 이용하게 될 도시의 장래 인구수를 추정해야 한다. 여러 가지 추정법 중 하나가 최소제곱법을 이용한 방법이다. 장래 인구수는 과거의 인구 통계자료를 가지고 연도에 따른 인구수의 방정식을 먼저 구한 뒤, 이를 이용해 계산하여 구한다.

n개의 연도와 인구 수 자료가 있다고 하자.

연도	인구 수
x1	y1
x2	y2
…	…
xn	yn

구하고자 하는 방정식은 $y=ax+b$이다. 상수 a, b값을 안다면, 장래의 연도 x를 대입했을 때 장래 인구 수 y를 알 수 있을 것이다. a, b는 다음으로 계산한다.

$a={\frac {n\Sigma XY-\Sigma X\Sigma Y}{n\Sigma X^{2}-\Sigma X\Sigma X}}$

$b={\frac {\Sigma X^{2}\Sigma Y-\Sigma X\Sigma XY}{n\Sigma X^{2}-\Sigma X\Sigma X}}$

예를 들어 1990년부터 1996년까지 기록된 인구 자료가 다음과 같다고 하자.

연도	인구(Y)
1990	177800
1991	182500
1992	187000
1993	192300
1994	194500
1995	199200
1996	203700

계산의 편의를 위해 연도를 다음과 같이 치환한다.

연도(X)	인구(Y)
-3	177800
-2	182500
-1	187000
0	192300
1	194500
2	199200
3	203700

정규방정식에 필요한 값들을 계산하면

$\sum X^{2}=(9+4+1)\times 2=28$

$\sum X=0$

$\sum XY=118600$

$\sum Y=1337000$

정규방정식에 이 값들을 대입하면 a, b를 알 수 있다.

$a\times 28=118600$

$b\times 7=1337000$

${\begin{aligned}\therefore Y&=aX+b\\&=4235.714X+191000\\\end{aligned}}$

1993년이 $X=0$으로 되었으므로 2000년은 $X=7$을 대입하여 계산한다. 따라서 2000년의 인구 수는 220,650명으로 예측할 수 있다.

같이 보기

• 가우스-마르코프 정리
• 제곱평균제곱근

참고 문헌

• 김동희 외 7인 (2008). 《통계학: 이론과 응용》 3판. 자유아카데미. ISBN 978-89-7338-671-0. 
• 이종형 외. 《상하수도 공학》 5판. 구미서관. 24쪽. 
• Kharab, Guenther. 《이공학도를 위한 수치해석》 3판. 학산미디어. 
• Hill, R. Carter; Griffiths, William E.; Lim, Guay C. (2010). 《Principles of Econometrics》 [계량경제학] 3판. 시그마프레스. ISBN 978-89-5832-785-1. 

외부 링크

• “최소제곱법”. 《네이버캐스트》. 
• 최소 제곱법의 발견