UNIVARIATEプロシジャ

ロバスト推定量

サブセクション

根拠となる前提からデータが中程度または大きく外れていても影響を受けにくい場合、その統計方法はロバストであると言います。UNIVARIATEプロシジャでは、いくつかの方法で位置および尺度のロバスト推定を行うことができます。例4.11を参照してください。

ウィンザー化平均

ウィンザー化平均は外れ値の影響を比較的受けにくい、位置のロバスト推定量です。k-timesのウィンザー化平均は次のように計算されます。

$\bar{x}_{wk}=\frac{1}{n} \left((k+1)x_{(k+1)} +\sum _{i=k+2}^{n-k-1}x_{(i)}+(k+1)x_{(n-k)} \right)$

ここで、nはオブザベーションの数、 $x_{(i)}$ は、オブザベーションが昇順で並べられている場合のi番目の順序統計量であり、次の式が成り立ちます。

$x_{(1)} \le x_{(2)} \le \ldots \le x_{(n)}$

ウィンザー化平均は、k個の最小オブザベーションを $(k+1)$ 番目に小さいオブザベーションに置き換え、k個の最大オブザベーションを $(k+1)$ 番目に大きいオブザベーションに置き換えた後、通常の平均と同じように計算されます。

対称分布のデータの場合、ウィンザー化平均はバイアスをかけない母集団平均の推定です。ただし、正規分布の母集団のデータであっても、ウィンザー化平均は正規分布になりません。

ウィンザー化された2乗偏差の合計は次のように定義されます。

$s^2_{wk}=(k+1)(x_{(k+1)} -\bar{x}_{wk} )^2 +\sum _{i=k+2}^{n-k-1} (x_{(i)}-\bar{x}_{wk})^2 + (k+1)(x_{(n-k)} -\bar{x}_{wk} )^2$

ウィンザー化されたt統計量は次のように計算されます。

$t_{wk} =\frac{\bar{x}_{wk} - \mu _0}{\mr{SE}(\bar{x}_{wk} )}$

ここで、 $\mu _0$ 帰無仮説の下での位置を示し、ウィンザー化平均の標準誤差は次のとおりです。

$\mr{SE}(\bar{x}_{wk})=\frac{n-1}{n-2k-1} \times \frac{s_{wk}}{\sqrt {n(n-1)}}$

データが対称分布に由来する場合、 $t_{wk}$ の分布は、自由度が $n-2k-1$ であるスチューデントのt分布により近似されます(Tukey and McLaughlin, 1963; Dixon and Tukey, 1968)。

位置パラメータに対するウィンザー化された $100(1-\frac{\alpha }{2})\%$ 信頼区間の上限および下限は次のとおりです。

$\bar{x}_{wk} \pm t_{1-\frac{\alpha }{2};n-2k-1} \mr{SE}(\bar{x}_{wk} )$

ここで、 $t_{1-\frac{\alpha }{2};n-2k-1}$ は、自由度が $n-2k-1$ であるスチューデントのt分布の $(1-\frac{\alpha }{2})100$ 番目のパーセント点です。

トリム平均

ウィンザー化平均と同様、トリム平均は外れ値の影響を比較的受けにくい、位置のロバスト推定量です。 k-timesのトリム平均は次のように計算されます。

$\bar{x}_{tk} =\frac{1}{n-2k}\sum _{i=k+1}^{n-k}x_{(i)}$

$x_{(1)} \le x_{(2)} \le \ldots \le x_{(n)}$

トリム平均は、k個の最小オブザベーションとk個の最大オブザベーションを標本から削除した後、計算されます。つまり、オブザベーションの両端がトリムされます。

対称分布の場合、対称にトリムされた平均はバイアスをかけない母集団平均の推定です。ただし、正規分布の母集団のデータであっても、トリム平均は正規分布になりません。

トリム平均 $t_{tk}$ の偏差のロバスト推定は、2乗偏差のウィンザー化された合計 $s^2_{wk}$ に基づくことができます。これはウィンザー化平均のセクションで定義されています。詳細は、Tukey and McLaughlin (1963)を参照してください。これを使用して、次の検定統計量に基づく、トリムされたt検定を計算できます。

$t_{tk} =\frac{(\bar{x}_{tk} -\mu _{0})}{\mr{SE}(\bar{x}_{tk})}$

トリム平均の標準誤差は次のとおりです。

$\mr{SE}(\bar{x}_{tk})=\frac{s_{wk}}{\sqrt {(n-2k)(n-2k-1)}}$

データが対称分布に由来する場合、 $t_{tk}$ の分布は、自由度が $n-2k-1$ であるスチューデントのt分布により近似されます(Tukey and McLaughlin, 1963; Dixon and Tukey, 1968)。

位置パラメータに対する“トリムされた” $100(1-\alpha )\%$ 信頼区間の上限および下限は次のとおりです。

$\bar{x}_{tk} \pm t_{1-\frac{\alpha }{2};n-2k-1} \mr{SE}(\bar{x}_{tk})$

ここで、 $t_{1-\frac{\alpha }{2};n-2k-1}$ は、自由度が $n-2k-1$ であるスチューデントのt分布の $(1-\frac{\alpha }{2})100$ 番目のパーセント点です。

尺度のロバスト推定

最も一般的に使用されている尺度の推定量である標本標準偏差は、外れ値の影響を受けやすい推定量です。一方、ロバストな尺度推定量では、単一のデータ値が任意の大きいまたは小さい値に置き換えられるときに、有界性が保たれます。 UNIVARIATEプロシジャは、四分位範囲、Giniの平均差 G、中央値からの中央絶対偏差(MAD)、 $Q_ n$ 、 $S_ n$ のような尺度のロバスト統計量を計算します。また、これらの各統計量から導びかれる通常の標準偏差 $\sigma$ も計算します。

四分位範囲(IQR)は、上位および下位の四分位点の間の単純な差です。正規分布の母集団の場合、 $\sigma$ はIQR/1.34898で推定できます。

Giniの平均差は次のように計算されます。

$G = \frac{1}{\left(\begin{array}{c} n \cr 2 \end{array}\right)} \sum _{i<j} |x_ i - x_ j|$

正規分布の母集団の場合、Gの期待値は $2\sigma /\sqrt {\pi }$ です。つまり、正規標本からのデータの場合、 $G\sqrt {\pi }/2$ が $\sigma$ のロバスト推定量です。正規分布の場合、この推定量は通常の標本標準偏差に比べて効率性が高く、外れ値の存在の影響も受けにくくなります。

中央絶対偏差(MAD) (Hampel; 1974)は非常にロバストな尺度推定量であり、次のように計算されます。

$\mr{MAD} = \mr{med}_{i}( | x_ i - \mr{med}_{j}( x_ j ) | )$

内側の中央値 $\mr{med}_{j}(x_ j)$ は、n個のオブザベーションの中央値であり、(iが付いた)外側の中央値は、内側の中央値の偏差のn個の絶対値の中央値です。正規分布の母集団の場合、 $1.4826 \times \mr{MAD}$ が $\sigma$ の推定量になります。

MADは正規分布では効率性が低く、対称分布には必ずしも適しているとは限りません。RousseeuwとCroux (1993)は、MADの代替として2つの統計量を提唱しています。1つ目の統計量は次のとおりです。

$S_ n = 1.1926 \times \mr{med}_{i} ( \mr{med}_{j} ( |x_ i - x_ j | ) )$

ここで、(iが付いた)外側の中央値は、 $|x_ i - x_ j|$ , $j = 1, 2, \ldots , n$ における、n個の中央値に対する中央値です。標本サイズが小さいことによるバイアスを低減するには、 $c_{sn}S_{n}$ を使用して $\sigma$ を推定します。ここで、 $c_{sn}$ は補正因子です。詳細は、CrouxとRousseeuw (1992)を参照してください。

RousseeuwとCroux (1993)が提唱している2つ目の統計量は次のとおりです。

$Q_ n = 2.2219 \{ | x_ i - x_ j |; i < j \} _{(k)}$

ここで、

$k = \left(\begin{array}{c} \left[\frac{n}{2}\right]+1 \cr 2 \end{array}\right)$

つまり、 $Q_ n$ は、データポイント間の $\left(\begin{array}{c} n \cr 2 \end{array}\right)$ の距離のk番目の順序統計量の2.2219倍です。バイアス補正した統計量 $c_{qn}Q_{n}$ は $\sigma$ の推定に使用されます。ここで、 $c_{qn}$ は補正因子です。詳細は、Croux and Rousseeuw (1992)を参照してください。