単回帰において、最小2乗法がもたらす傾きは修正する必要がある。

• 担当機関: （独）農業・食品産業技術総合研究機構 中央農業総合研究センター
• 研究期間: 2011～2012
• 研究担当者: 竹澤邦夫
• 発行年度: 2012
• 要約: 単回帰を行う際、最小2乗法の結果をそのまま使うと、将来のデータに対する最適な回帰式にはならない。最小2乗法で得られた単回帰式の傾きの絶対値をやや小さくする必要がある。傾きの絶対値が小さいときと、傾きの分散が大きいときに、大きな補正を行うべきである。この方法で得られた単回帰式は、予測能力の点で優れた回帰式である。
• キーワード: 傾き、最尤法、単回帰、バイアス回帰、不偏性、ベイズ推定、予測誤差
• 背景・ねらい: 単回帰を行う際、データの目的変数に含まれている誤差の大きさがほぼ一定で、誤差のそれぞれが独立していると考えられるとき、最小2乗法が利用されてきた。これは、ガウス・マルコフの定理が、最小2乗法が与える推定量が最良線形不偏推定量であることを保証しているためである。一方、不偏推定量とは異なる推定量を用いることで、最小2乗法より予測の点で優れた結果を与える方法として、リッジ回帰とジェームズ・スタイン推定量がある。しかし、クロスバリデーションを伴うリッジ回帰を用いると回帰係数の分散が大きくなる。また、ジェームズ・スタイン推定量は予測変数の数が3個以上の重回帰にしか利用できない。そこで、予測の観点から最小2乗法より優れていて、回帰係数の分散が小さい回帰式が得られる可能性を検討する。

成果の内容・特徴

1. データ（(x_iy_i)(1≤i≤n)、nはデータ数）を用いて最小2乗法によって得られた単回帰式をy=â₁x+â₀とする。傾き（â₁）に定数（ρ）を掛け、切片（â₀）には本質的な影響がないようにするとき、用いる回帰式は以下になる。
   
   ρが1のとき、最小2乗法と一致する。
2. ρは、以下のΔの関数であることを仮定する。
   
   ここで、以下を用いた。σ²は誤差分散の推定値である。
   
3. シミュレーション・データを使った単回帰を行い、ρとして1に近い様々な値を与えて式(a)の形の回帰式を作成し、単回帰を行う際に利用したデータと統計的な性質は同一の別のシミュレーション・データを用いて将来のデータに対する対数尤度の平均値を算出する。その結果を用いて、最適なρの値がΔのどのような関数になるかを調べた結果が、図1である。最小2乗法によって得られた傾きが小さいときと、データの目的変数の部分に含まれる誤差が大きいとき、最適なρの値が1よりかなり小さくなる。
4. ショウジョウバエの胸部の長さ（mm）と寿命（日）の関係を表すデータ（フリーソフトRのパッケージ「faraway」に所収されているfruitfly）の中の最初の15個を用いる。Δが0.355なので、図1からρの値は0.89である。図2の太線がそのρを式(a)に代入したときの結果である。細線（最小2乗法の結果、つまり、ρが1）とかなり異なる。

成果の活用面・留意点

1. 最小2乗法による単回帰は、農学や生物学などのデータ解析において200年くらいに渡って広く利用されてきた。従って、本手法は多くの分野のデータ解析に影響を及ぼす。
2. 図1の曲線を、シミュレーションを使わずに解析的に導出することも可能かも知れないので、今後の研究の進展を待たなければならない。
3. 本手法を単回帰以外の回帰に応用できる可能性もある。

• 研究内容: http://www.naro.affrc.go.jp/project/results/laboratory/narc/2012/160c0_01_01.html