단순 선형회귀분석 회귀계수 추정방법

챗지피티한테 물어봤다.

 

# 최소제곱법에서 기울기 (\(\beta_1\))와 절편 (\(\beta_0\)) 유도

### 1. 최소제곱법의 목표

최소제곱법은 주어진 데이터를 통해 회귀 직선을 찾는 방법입니다. 이 회귀 직선은 **\(y = \beta_0 + \beta_1 x\)** 형태를 가집니다. 여기서:
- \(\beta_1\)은 기울기,
- \(\beta_0\)은 절편입니다.

이 과정을 통해 **기울기 \(\beta_1\)**와 **절편 \(\beta_0\)**을 구하려고 합니다.

### 2. 비용 함수 정의 (오차 제곱합)

우리는 각 데이터 점에 대해 **실제 값** \(y_i\)와 **예측 값** \(\hat{y_i} = \beta_1 x_i + \beta_0\) 사이의 차이(잔차)의 제곱을 모두 합친 **비용 함수 (오차 제곱합)**을 최소화하려고 합니다. 비용 함수는 다음과 같이 정의됩니다:

\[
J(\beta_1, \beta_0) = \sum_{i=1}^n \left( y_i - (\beta_1 x_i + \beta_0) \right)^2
\]

### 3. 비용 함수 미분 (기울기와 절편에 대해)

비용 함수 \(J(\beta_1, \beta_0)\)를 각각 \(\beta_1\)과 \(\beta_0\)에 대해 미분하여 0으로 만드는 값을 찾아 기울기와 절편을 구합니다.

#### (1) 기울기 \(\beta_1\)에 대해 미분

먼저, 비용 함수 \(J(\beta_1, \beta_0)\)를 \(\beta_1\)에 대해 미분합니다:

\[
\frac{\partial J}{\partial \beta_1} = \frac{\partial}{\partial \beta_1} \sum_{i=1}^n \left( y_i - (\beta_1 x_i + \beta_0) \right)^2
\]

체인 룰을 적용하여 미분하면:

\[
\frac{\partial}{\partial \beta_1} \left( y_i - (\beta_1 x_i + \beta_0) \right)^2 = -2x_i \left( y_i - (\beta_1 x_i + \beta_0) \right)
\]

따라서 전체 미분은:

\[
\frac{\partial J}{\partial \beta_1} = -2 \sum_{i=1}^n x_i \left( y_i - (\beta_1 x_i + \beta_0) \right)
\]

#### (2) 절편 \(\beta_0\)에 대해 미분

비용 함수 \(J(\beta_1, \beta_0)\)를 \(\beta_0\)에 대해 미분합니다:

\[
\frac{\partial J}{\partial \beta_0} = \frac{\partial}{\partial \beta_0} \sum_{i=1}^n \left( y_i - (\beta_1 x_i + \beta_0) \right)^2
\]

미분하면:

\[
\frac{\partial}{\partial \beta_0} \left( y_i - (\beta_1 x_i + \beta_0) \right)^2 = -2 \left( y_i - (\beta_1 x_i + \beta_0) \right)
\]

따라서 전체 미분은:

\[
\frac{\partial J}{\partial \beta_0} = -2 \sum_{i=1}^n \left( y_i - (\beta_1 x_i + \beta_0) \right)
\]

### 4. 미분값을 0으로 설정 (최소화)

비용 함수가 최소가 되도록 하기 위해 각 미분값을 0으로 설정합니다.

#### (1) 기울기 \(\beta_1\)에 대한 미분값 0

\[
-2 \sum_{i=1}^n x_i \left( y_i - (\beta_1 x_i + \beta_0) \right) = 0
\]

이 식을 풀면:

\[
\sum_{i=1}^n x_i y_i - \beta_1 \sum_{i=1}^n x_i^2 - \beta_0 \sum_{i=1}^n x_i = 0
\]

#### (2) 절편 \(\beta_0\)에 대한 미분값 0

\[
-2 \sum_{i=1}^n \left( y_i - (\beta_1 x_i + \beta_0) \right) = 0
\]

이 식을 풀면:

\[
\sum_{i=1}^n y_i - \beta_1 \sum_{i=1}^n x_i - n \beta_0 = 0
\]

### 5. 연립방정식 해결

위의 두 식을 연립하여 \(\beta_1\)과 \(\beta_0\)를 구합니다.

#### (1) 첫 번째 방정식

\[
\sum_{i=1}^n x_i y_i = \beta_1 \sum_{i=1}^n x_i^2 + \beta_0 \sum_{i=1}^n x_i
\]

#### (2) 두 번째 방정식

\[
\sum_{i=1}^n y_i = \beta_1 \sum_{i=1}^n x_i + n \beta_0
\]

이 두 식을 풀어서 \(\beta_1\)과 \(\beta_0\)를 구합니다.

### 6. 기울기 \(\beta_1\) 구하기

두 번째 방정식에서 \(\beta_0\)에 대한 식을 구하고, 이를 첫 번째 방정식에 대입하여 \(\beta_1\)을 구합니다. \(\beta_0\)를 정리하면:

\[
\beta_0 = \frac{\sum_{i=1}^n y_i - \beta_1 \sum_{i=1}^n x_i}{n}
\]

이 값을 첫 번째 방정식에 대입하여 풀면:

\[
\beta_1 = \frac{\sum_{i=1}^n x_i y_i - \frac{\sum_{i=1}^n x_i \sum_{i=1}^n y_i}{n}}{\sum_{i=1}^n x_i^2 - \frac{(\sum_{i=1}^n x_i)^2}{n}}
\]

이것은 **공분산**과 **분산**을 사용한 형태로, 다음과 같이 정리할 수 있습니다:

\[
\beta_1 = \frac{SS_{xy}}{SS_{xx}}
\]

여기서:
- \(SS_{xy} = \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})\)
- \(SS_{xx} = \sum_{i=1}^n (x_i - \bar{x})^2\)

### 7. 절편 \(\beta_0\) 구하기

기울기 \(\beta_1\)를 구한 후, 두 번째 방정식에서 \(\beta_0\)를 구합니다:

\[
\beta_0 = \bar{y} - \beta_1 \bar{x}
\]

### 8. 최종 결과

따라서 기울기 \(\beta_1\)과 절편 \(\beta_0\)는 다음과 같이 구할 수 있습니다:

\[
\beta_1 = \frac{SS_{xy}}{SS_{xx}}
\]

\[
\beta_0 = \bar{y} - \beta_1 \bar{x}
\]

---