[ 통계 ] 국민대학교_회귀분석_단순선형회귀분석

※ 강의 내용을 요약한 글입니다.

평소 모호했던 개념이나 몰랐던 내용을 적어놓은 글이기 때문에, 강의 내용이 전부 포함돼 있지 않습니다.

http://www.kocw.net/home/cview.do?cid=320ebed6dfe4f57a

회귀분석

---

1. 수학적 모형(함수)은 오차(error) 허용 유무에 따라 두 가지로 분류 가능
   • 결정적 모형 : 오차가 존재하지 않음
     예) E = mc²
   • 통계적 모형 : 변수들 간의 오차를 허용하는 모형
     예) 기업의 광고비(X)와 매출액(Y) 사이의 관계
2. 오차항(εi)은 무작위로 샘플링되는 확률 변수( (0, σ²) )
3. 종속 변수 Yi는 평균이 β0 + β1Xi이고, 분산이 σ²인 확률 변수
4. 오차제곱합 S( β0, β1 ) = Σ { Yi - ( β0 + β1Xi ) }² 을 최소로 하는 β0, β1을 편미분으로 찾음
   • S( β0, β1 ), β0, β1을 축으로 하는 3차원 공간에서의 편미분
   • 최소제곱법 방식
5. 회귀 모형에서 오차항이 서로 독립이고, 기댓값이 0이며, 분산이 σ²으로 일정하다면
   • 비편향 추정량 : E( β0 hat  ) = β0, E( β1 hat  ) = β1
   • V( β1 hat ) = σ² / SSxx
   • V( β1 hat ) = σ² * [ ( 1/n ) + { ( X bar ) ² / SSxx } ]
   • β0 hat, β1 hat 의 분산은 비편향 추정량 중에서 제일 작은 분산을 가짐
6. 제곱합의 분할
   • SST( n-1 ) = SSE( n-2 ) + SSR(1)
   • SST( Σ( Yi - Y bar )² ) : 총 제곱합. Y의 관측값들이 가지는 총 변동
   • SSE( Σ( Yi - Y hat )² ) : 오차 제곱합. Y의 총 변동 중 설명되지 않은 변동
   • SSE( Σ( Y hat - Y bar )² ) : 회귀 제곱합. 회귀식에 의해 설명된 변동
7. 결정계수 : 추정된 회귀 모형의 설명력
   • R² = 설명된 변동 / 총 변동 = SSR / SST = 1 - ( SSE / SST )
8. 예측 측도는 예측 잔차 제곱합(PRESS)을 사용
   • Rpredicition² = 1 - ( PRESS / SST )
9. 분산분석표(ANOVA)를 통해 회귀 기울기의 유의성 검정(F 검정)
   • MSR : 회귀 제곱 평균
   • MSE : 오차 제곱 평균
   • 오차항이 정규 분포를 따르고, β1 = 0이라고 가정할 때(H0) 분석 진행