UNIVARIATEプロシジャ

適合度検定

サブセクション

PROC UNIVARIATEステートメントでNORMALオプションを指定した場合や、HISTOGRAMステートメントで当てはめたパラメトリックな分布を要求した場合、分析変数の値が指定した理論分布からの無作為抽出であるという帰無仮説の適合度検定が計算されます。例4.22を参照してください。

NORMALオプションを指定した場合、これらの検定は"Tests for Normality"というラベルの出力テーブルに要約され、次の検定が含まれます。

  • Shapiro-Wilk検定

  • Kolmogorov-Smirnov検定

  • Anderson-Darling検定

  • Cramér-von Mises検定

Kolmogorov-Smirnov D統計量、Anderson-Darling統計量およびCramér-von Mises統計量は、経験分布関数(EDF)に基づきます。ただし、指定した分布で特定の組み合わせのパラメータを推定する場合に、EDF検定がサポートされないことがあります。使用できるEDF検定の一覧は、表4.31を参照してください。帰無仮説を棄却するかどうかは、適合度検定に関連付けられているp値を調べることにより判断できます。p値が事前に定義された基準値($\alpha $)より小さい場合は、帰無仮説を棄却し、指定した分布からのデータではなかったと判断します。

分散分析法の正規性の仮定を検定する場合は、正規性の統計的検定を単独で使用するよう注意します。帰無仮説を棄却する検定力(検定の検出力として知られる)は、標本サイズに応じて高くなります。標本サイズが大きくなるほど、正規性からの小さな乖離を検出できます。正規性からの小さな偏差は分散性の分析検定の妥当性にはそれほど大きく影響しないため、他の統計量やプロットを調査して正規性の最終評価を行うことが重要です。歪度および尖度の測定値と、PLOTSオプション、HISTOGRAMステートメント、PROBPLOTステートメント、QQPLOTステートメントで得られるプロットが大変役立ちます。標本サイズが小さい場合、重要な正規性からの大きな乖離の検出力が低い場合があります。 このような偏差の検定力を高くするには、よく使用される0.05の有意水準ではなく、0.15や0.20などの高い有意水準を使用する必要のある場合があります。この場合も、プロットや他の統計量を調べると、正規性からの偏差の大きさの評価に役立ちます。

Shapiro-Wilk Statistic

標本サイズが2000以下の場合にNORMALオプションを指定すると、UNIVARIATEプロシジャはShapiro-Wilk統計量W (標本サイズnに依存することを強調するために$W_ n$とも表記されます)を計算します。W統計量は、分散の通常の修正平方和推定量に対する、(順序統計量の線形結合の2乗に基づく)分散の最良推定量の比率です(Shapiro and Wilk, 1965)。nが3より大きい場合、順序統計量の線形結合を計算するための係数は、Royston (1992)法により近似されます。統計量Wは、常に0より大きく1以下です$(0 < W \leq 1)$。

Wの値が小さい場合、正規性の帰無仮説は棄却されます。Wは片寄りの大きい分布です。一見すると大きいWの値(0.90など)が小さいと見なされ、帰無仮説の棄却が導き出される場合があります。p値(観測値以下のW統計量を取得する確率)の計算方法はnに依存します。n = 3の場合、Wの確率分布は既知であるためp値の決定に使用されます。$n>4$の場合、正規化変換が次のように計算されます。

\begin{eqnarray*} Z_{n} = \left\{ \begin{array}{ll} ( - \log ( \gamma - \log ( 1- W_ n ) ) - \mu ) / \sigma & \mbox{if }4 \leq n \leq 11 \\ ( \log ( 1 - W_ n ) - \mu ) / \sigma & \mbox{if }12 \leq n \leq 2000 \end{array} \right. \end{eqnarray*}

$\sigma $、$\gamma $、および$\mu $の値は、シミュレーション結果から得られるnの関数です。$Z_ n$の値が大きい場合は正規性から乖離していることを示し、統計量$Z_ n$はほぼ標準正規分布であることから、この分布を使用して$n>4$のp値が決定されます。

EDF適合度検定

パラメトリックな分布を当てはめた場合、UNIVARIATEプロシジャは経験分布関数(EDF)に基づく一連の適合度検定を出力します。EDF検定は検出力が高く、ヒストグラムの中間点によって検定結果が変わらないなどの点で従来的なカイ2乗検定より優れています。詳細は、D’Agostino and Stephens (1986)を参照してください。

経験分布関数は、n個の独立したオブザベーション$X_1,\ldots ,X_ n$のセットに対して、一般的な分布関数$F(x)$で定義されますオブザベーションは、$X_{(1)},\ldots ,X_{(n)}$のように昇順に表記します。経験分布関数$F_ n(x)$は、次のように定義されます。

\[ \begin{array}{llr} F_ n(x) = 0, & x < X_{(1)} \\ F_ n(x) = \frac{i}{n}, & X_{(i)} \leq x < X_{(i+1)} & i=1,\ldots ,n-1 \\ \nonumber F_ n(x) = 1, & X_{(n)} \leq x \end{array} \]

$F_ n(x)$は、オブザベーションごとに高さ$\frac{1}{n}$のステップを取る関数です。この関数は分布関数$F(x)$を推定します。任意の値xにおいて、$F_ n(x)$はx以下の比率であり、$F(x)$はx以下のオブザベーションの確率です。EDF統計量は、$F_ n(x)$と$F(x)$の間のディスクレパンシを測定します。

EDF統計量の計算式では、確率積分変換$U=F(X)$を利用します。$F(X)$がXの分布関数である場合、乱数変数Uは0から1までの間の均等な分布になります。

n個のオブザベーション$X_{(1)},\ldots ,X_{(n)}$がある場合、値$U_{(i)}=F(X_{(i)})$は、次の3つのセクションで説明するように、変換を適用して計算されます。

UNIVARIATEプロシジャでは、次の3つのEDF検定を行うことができます。

  • Kolmogorov-Smirnov

  • Anderson-Darling

  • Cramér-von Mises

次のセクションで、これらのEDF統計量の計算式の定義を示します。

KolmogorovのD統計量

Kolmogorov-Smirnov統計量(D)は次のように定義されます。

\[ D = \mbox{sup}_ x|F_{n}(x)-F(x)| \]

Kolmogorov-Smirnov統計量は、EDF統計量の上限値クラスに属します。この統計量のクラスは、$F(x)$と$F_ n(x)$の垂直方向の最大差に基づきます。

Kolmogorov-Smirnov統計量は、$D^{+}$および$D^{-}$の最大値として計算されます。ここで、$D^{+}$はEDFが分布関数より大きい場合のEDFと分布関数の間の最大垂直距離、$D^{-}$はEDFが分布関数より小さい場合の最大垂直距離です。

\[ \begin{array}{lll} D^{+} & = & \max _{i}\left(\frac{i}{n} - U_{(i)}\right) \\ D^{-} & = & \max _{i}\left(U_{(i)} - \frac{i-1}{n}\right) \\ D & = & \max \left(D^{+},D^{-}\right) \end{array} \]

UNIVARIATEプロシジャでは、修正済みKolmogorov D統計量を使用して、平均および分散が標本と等しい正規分布に対してデータを検定します。

Anderson-Darling統計量

Anderson-Darling統計量およびCramér-von Mises統計量は、EDF統計量の2次クラスに属します。この統計量のクラスは、2乗差$(F_ n(x)- F(x))^2$に基づきます。2次統計量の一般形は次のとおりです。

\[ Q = n \int _{-\infty }^{+\infty } (F_ n(x)-F(x))^2 \psi (x) dF(x) \]

関数$\psi (x)$は2乗差$(F_ n(x)-F(x))^2$を重み付けします。

Anderson-Darling統計量($A^2$)は次のように定義されます。

\[ A^{2} = n\int _{-\infty }^{+\infty }(F_ n(x)-F(x))^2 \left[F(x)\left(1-F(x)\right)\right]^{-1} dF(x) \]

ここで、重み関数は$\psi (x) = \left[F(x)\left(1-F(x)\right)\right]^{-1}$です。

Anderson-Darling統計量は次のように計算されます。

\[ A^2 = -n-\frac{1}{n}\sum _{i=1}^ n \left[(2i-1)\log U_{(i)} + (2n+1-2i) \log (1-U_{(i)})\right] \]
Cramér-von Mises統計量

Cramér–von Mises統計量($W^2$)は次のように定義されます。

\[ W^2 = n \int _{-\infty }^{+\infty } (F_{n}(x)-F(x))^2 dF(x) \]

ここで、重み関数は$\psi (x) = 1$です。

Cramér-von Mises統計量は次のように計算されます。

\[ W^2 = \sum _{i=1}^ n\left(U_{(i)}-\frac{2i-1}{2n}\right)^2 + \frac{1}{12n} \]
EDF検定の確率値

EDF検定統計量が計算されると、UNIVARIATEプロシジャは関連する確率値(p値)を計算します。

Gumbel、逆ガウス、一般化パレート、レイリー分布の場合、UNIVARIATEプロシジャは、推定した分布から再サンプリングすることによって、関連する確率値(p値)を計算します。デフォルトでは、500個のEDF検定統計量が計算され、指定した(当てはめた)分布のEDF検定統計量と比較されます。標本数は、EDFNSAMPLES=nの設定によって制御できます。たとえば、5000個のシミュレーションに基づく、Gumbel分布の適合度検定のp値を要求するには、次のステートメントを使用します。 

proc univariate data=test;
   histogram / gumbel(edfnsamples=5000);
run;

ベータ、指数、ガンマ、対数正規、正規、べき関数、Weibull分布の場合、UNIVARIATEプロシジャは、D’AgostinoおよびStephens (1986)によって示されたものと似た確率水準の内部テーブルを使用します。値が2つの確率水準の間の場合、線形補間を使用して確率値が推定されます。

確率値は、既知のパラメータと分布に対して推定されたパラメータに依存します。表4.31は、さまざまな当てはめた組み合わせに対して、EDF検定を使用できるかどうかをまとめたものです。

表4.31: EDF検定の使用可能性

分布

パラメータ

使用可能な検定

 

THRESHOLD

尺度

SHAPE

 

ベータ

$\theta $既知

$\sigma $既知

$\alpha , \beta $既知

すべて

 

$\theta $既知

$\sigma $既知

$\alpha ,\beta <5$ 未知

すべて

指数

$\theta $既知

$\sigma $既知

 

すべて

 

$\theta $既知

$\sigma $未知

 

すべて
 

$\theta $未知

$\sigma $既知

 

すべて

 

$\theta $未知

$ \sigma $未知

 

すべて

GAMMA

$\theta $既知

$\sigma $既知

$\alpha $既知

すべて
 

$\theta $既知

$\sigma $未知

$\alpha $既知

すべて

 

$\theta $既知

$ \sigma $既知

$\alpha $未知

すべて

 

$\theta $既知

$\sigma $未知

$\alpha >1$ 未知

すべて

 

$\theta $未知

$\sigma $既知

$\alpha >1$ 既知

すべて

 

$\theta $未知

$\sigma $未知

$\alpha >1$ 既知

すべて
 

$\theta $未知

$\sigma $既知

$\alpha >1$ 未知

すべて
 

$\theta $未知

$\sigma $未知

$\alpha >1$ 未知

すべて

対数正規

$\theta $既知

$\zeta $既知

$\sigma $既知

すべて
 

$\theta $既知

$\zeta $既知

$\sigma $未知

$A^2$および $W^2$

 

$\theta $既知

$\zeta $未知

$\sigma $既知

$A^2$および $W^2$

 

$\theta $既知

$\zeta $未知

$\sigma $未知

すべて
 

$\theta $未知

$\zeta $既知

$\sigma <3$ 既知

すべて

 

$\theta $未知

$\zeta $既知

$\sigma <3$ 未知

すべて

 

$\theta $未知

$\zeta $未知

$\sigma <3$ 既知

すべて

 

$\theta $未知

$\zeta $未知

$\sigma <3$ 未知

すべて

正規

$\theta $既知

$\sigma $既知

 

すべて
 

$\theta $既知

$\sigma $未知

 

$A^2$および $W^2$

 

$\theta $未知

$\sigma $既知

 

$A^2$および $W^2$

 

$\theta $未知

$ \sigma $未知

 

すべて

べき関数

$\theta $既知

$\sigma $既知

$\alpha $既知

すべて
 

$\theta $既知

$\sigma $既知

$\alpha <5$ 未知

すべて

Weibull

$\theta $既知

$\sigma $既知

$ c$既知

すべて
 

$\theta $既知

$\sigma $未知

c 既知

$A^2$および $W^2$

 

$\theta $既知

$\sigma $既知

c 未知

$A^2$および $W^2$

 

$\theta $既知

$\sigma $未知

c 未知

$A^2$および $W^2$

 

$\theta $未知

$\sigma $既知

$ c>2$ 既知

すべて

 

$\theta $未知

$\sigma $未知

$c>2$ 既知

すべて

 

$\theta $未知

$\sigma $既知

$c>2$ 未知

すべて

 

$\theta $未知

$\sigma $未知

$c>2$ 未知

すべて