제 8장 회귀직선

1. 기울기와 절편

 

 

기울기는 어떻게 구할까?

기울기= 변화량

(기울기)= r x \(\frac{SDy}{SDx}\)

x가 1단위 증가할 때 y가 증가하는 정도를 나타낸다

x가 1SDx만큼 증가할 때 y가 rSDy만큼 증가한다.

회귀직선의 절편은 x가 0일 때 y의 추정치이다.

 

y절편을 구하는 법

x가 0일때 y의 값으로 평균-(기울기 * X)를 통해 구한다.

-> 평균이 163만원이고 기울기가 12.7만이면 x가 12.7년이면 이를 통해 값을 구한다.

 

기울기는 외부로부터 개입하여 x값을 변화시킬 경우 y값의 변화를 나타낸다.

즉, 외부개입-내부반응을 의미한다.

 

하지만 기울기가 순수반응을 의미하는 것은 아니다.

만약, 한 대졸과 고졸의 평균 소득의 차이가 있다면, 이는 순수한 교육의 차이인가?

->가정환경이나 제 3의 요인이 있을 수 있다

 

그렇기에 통제된 실험을 위해 중회귀분석(multiple regression)을 만들었다.

완벽하게 통제는 안 되지만 통제가 0인 것보다 조금이라도 하는 게 낫다.

 

 

2. 최소자승법

산포도상의 점들을 가장 잘 반영하는 직선은 어ㅓㄸㅎ게 찾아내는가?

->RMSE를 사용한다.

 

RMSE가 최소인 점을 찾는다.

 

3. 회귀분석은 만병통치약이 아니다.

1) 변수간의 비선형성이 있다면 잘못된 정보를 준다.

2) 변수간의 선형관계가 있다고 반드세 의미가 있는가?

 

ex) 둘레의 길이와 넓이의 길이의 상관계수는 매우 높다.

그렇다면 둘레의 길이가 클수록 넓이도 커지는가?

-> 도형의 모양에 따라 다르다.

 

y= a+bX1+cX2

중회귀분석을 통해 도형의 모양을 통제하면 조금 더 나은 상관계수를 얻을 수 있다.

그러나 이 모형은 직선이 아니다.

 

4. 총변동의 분해

통화증가율과 인플레이션의 관계는 어떻게 될까?

 

T= R+ E

T= 인플레이션율이 평년과 다른 부분 전체

R= 회귀직선상 높이가 평균 인플레이션 \(\bar(y)\)을 지나는 수평선으로부터 차이가 나는 부분

E는 회귀직선으로부터 인플레이션의 순수오차

 

\(y-\bar{y} =  [(a+bxi)-\bar{y}] + [yi-(a+bxi)]\)

 

\(\sum (yi-\bar{y})^2=\sum [(a+bxi)-\bar{y}]^2+\sum [(yi-(a+bxi)]^2\)

           SST               =               SSR             +      SSE

 

총제곱합 SST: 평균 주위로의 총 변동

회귀제곱합 SSR: 회귀직선에 의해 설명되는 변동분 

오차제곱함 SSE: 총변동에서 회귀직선에 의해 설명되지 않는 변동분

 

총 변동 가운데 변동분이 차지하는 비중이 클수록 회귀직선의 설명력이 높다

 

\(R^2 = \frac{SSR}{SST}= 1-\frac{SSE}{SST}\) (0<=\(R^2\)<=1)

 

\(R^2\)은 설명력이 최대일 때 1이고, 최소일 때 0이 된다.

단순회귀분석이면 결정계수의 값은 상관계수 r의 제곱과 같게 된다.

 

 

5. 아노바와 앙코바

아노바: 회귀분석에서 설명변수가 더미변수로만 이루어져 있을 때 총변동의 분해

앙코바: 설명변수가 더미변수와 연속변수를 모두 포함할 때의 총 변동의 분해

더미변수: 성별과 같이 0또는 1로 구분되는 변수

 

아노바-단순회귀

ex)

남자면 1 여자면0으로 코딩한 다음에 두 집단 간 차이를 알아본다.

y=a+bDi+ui가 있다면 B=0으로 하고 가설을 검정한다.

집단의 수가 많아지면 더미 변수를 늘린다.

 

앙코바-중회귀분석

y=a+bDi+rxi+ui가 있으면

B=0일 때 가설검정을 한다.