通常最小二乗法は、すべての観測が同じだけ情報を持つと扱う。ある観測が他よりもノイズを多く含む——不均一分散、すなわち Var(ε_i) = σ_i² が i によって変わる——とき、この平等な扱いは非効率である。OLS は不偏かつ一致のままだが、もはや効率的(BLUE)ではなく、教科書的な標準誤差も誤る。
**加重最小二乗法(WLS)**は適合へ異なる重みを与える。
β̂_WLS = argmin_β Σ_i w_i (y_i − x_i'β)² = (X'WX)⁻¹ X'Wy, W = diag(w_1, …, w_n)
w_i = 1/σ_i² なら、分散が小さく信頼できる観測ほど強く適合を引く。機械的には変換済みデータ √w_i·(y_i, x_i) への OLS であり、一般化最小二乗法(GLS)の対角特殊例である。よく使う重みは次の通り。
| 状況 | 重み |
|---|---|
n_i 個の基礎単位から得た平均 |
w_i = n_i(分散 ∝ 1/n_i) |
| 各点に既知の標準誤差がある(推定値への第二段階など) | w_i = 1/SE_i² |
分散が x の既知関数 |
w_i = 1/σ²(x_i) |
| 分散が未知 | 先に推定し(FGLS)、その後に加重 |
正しく行えば、WLS は効率性を回復し、不均一分散の下で正しい推論を与える。しかし、できない仕事まで任されることが多い。
- 偏りは直さない。 WLS も平均構造の正しい特定を必要とする。欠落変数、同時性、内生性には再加重しても触れない。自己選択された説明変数への加重回帰は、非加重回帰と同じく因果的ではない。効率性は識別ではない。
- 生成された従属変数を救済しない。
y_i自体が前段階の推定値なら、逆分散加重は精度差を正しく扱うが、第一段階の推定不確実性を無視した標準誤差の下方偏りは直さない。bootstrap や明示的な測定誤差処理が別途必要になる。 - 誤った重みは悪化させうる。 重みの特定が悪ければ、WLS は通常の OLS より非効率になりうる。重みが既知でなく推定されたものなら、防護として不均一分散頑健(HC)標準誤差を併用する。
明快な整理はこうなる。不均一分散は分散の問題であり、WLS は分散の道具である。内生性は平均/識別の問題であり、重みでは解けない。WLS は誠実な推定を精密にするために使い、偏った推定を因果的に見せるためには使わない。