単回帰モデル
サンプルサイズのサンプルを用意し、各個体に対して
と
の2つの変数の値を測定する。
番目の個体の
、
の値をそれぞれ
、
としたとき、両者の間に
という関係が認められることがある。このモデルを単回帰モデルという。単回帰モデルでは、と
の間に直線関係が認められる。
は誤差項と呼ばれる。
単回帰モデルの仮定
単回帰モデルでは、いくつかの仮定が置かれる。
は与えられた定数である。
- 誤差項の期待値が0である。
- 誤差項に系列相関がない。
- 誤差項の分散が均一である。
4番目で仮定された性質は等分散性（分散均一性、homoscedasticity、homogeneity of variance）と呼ばれる。
これらの仮定が満たされているかは、診断プロットで確認することができる。
最小二乗推定・検定・予測・決定係数・残差分析
の
と
は最小二乗法と呼ばれる方法で推定する。推定された値をそれぞれ、
、
と表す。そして、これらの値を用いて
の値から
の値を予測することができる。その予測値
は
と求められる。ここで、実測値と予測値の差を残差という。残差は、
と表される。
誤差項の正規分布の仮定のもとで、と
の分布を求めることができる。その分布をもとに、
を帰無仮説にして検定を行う。帰無仮説が棄却されたならば、その単回帰モデルは有意であると言える。
単回帰モデルのあてはまりの良さを調べるときは、決定係数を用いる。
と定義される。
誤差項の仮定が満たされているかを確認するときは、残差に関するいくつかの診断プロットを描き、残差分析を行う。
残差分析
次の散布図で表されるサンプルに対して、残差分析の診断プロットを描いた。このサンプルは単回帰モデルの仮定を満たす。
要約
誤差項の等分散性をはじめとするいくつかの仮定を満たすサンプルに対して、単回帰モデルをあてはめることができる。決定係数が1に近いほど、単回帰モデルの当てはまりがよい。
単回帰モデルの切片と回帰係数の値は最小二乗法で推定することができる。最小二乗推定量の分布をもとに回帰係数
の値の検定を行うことができる。
誤差項の仮定が満たされているか確認するためには、残差分析を行う。
参考文献
単回帰モデルについては、たとえば以下の書籍に詳しい。