実験を行っていると
「差がない」ことを主張したいときってありますよね。
- 実験機器の入れ替え前後でデータが変わらないことを示したい
- 試薬のメーカーやロットの切り替え前後で結果が変わらないことを示したい
などなど…
統計や検定のことを調べると
「差がある」ことを示す事例ばかり…
実は「差がない」ことを示すってなかなか大変なんです。
ですが、差がないことを示すためには
以下の式で示すサンプルサイズで検定を行えばOKです。
ただし、
｜必要なサンプルサイズ
｜効果量
有意水準、検出力
としています。
以下ではその理由について、詳しく解説していきますね。
差があるとは言えない≠差がない！？
棄却できた場合 → 差がある
棄却できなかった場合 → 差があるとは言えない
という結論になります。
ここで注意することとして
差があるとは言えない≠差がない
ということです。なんだか言葉遊びのようですが…
帰無仮説が棄却できた場合は
積極的に差があることを主張できるのですが
帰無仮説が棄却できなかった場合は
差がある とも 差がない とも
積極的に結論をつけることはできません。
その理由は検定において生じる
2つの誤り（エラー）が関係しています。
2つの誤り（エラー）
検定はあくまで統計的な手法ですので
一定の確率で結果に誤りが生じます。
この誤りには2つの種類があり
第1種の誤り（確率） 差がないのに、差があると判断してしまう誤り
第2種の誤り（確率） 差があるのに、差がないと判断してしまう誤り
と呼ばれます。
第1種はアルファなのであわてものの誤り
第2種はベータなのでぼんやりものの誤り
なんて覚え方があったりします。
第1種の誤りが生じる確率は有意水準とも呼ばれ
検定を実施する際に設定する値です。
一方、第2種の誤りが生じる確率は
一般には検定を実施する際に意図的に設定されず、
その値は非常に大きくなってしまいます。
つまり、通常実施する検定では
第2種の誤りが生じる（差があるのに差がないと判断してしまう）
可能性が高くなってしまうため
積極的に差がない と結論づけることができないのです。
そこで、積極的に差がないと言うために
重要となるのが検出力なのです。
検出力とは
もういちど表を確認していただくと
検出力＝差があるときに差があると判断できる確率
であることがわります。
この値を高く設定した検定は
差があるときにきっちりと差を検出してくれる力
があります。
また、第2種の誤りが生じる確率も低くなるのです。
では、検出力を高く設定するにはどうすればよいのでしょうか。
検出力とサンプルサイズの関係
ようやく冒頭の式にたどり着くことができました。
および
とサンプルサイズの関係を表す式です。
上の式では一般的に採用される
有意水準は0.05、検出力は0.90（は0.10）を
設定しています。
この式から求めたサンプルサイズで検定を実施し
帰無仮説が棄却されなかった場合
積極的に「差がない」と主張することができます。*2
ところで、効果量とはなんぞや？と思われたと思います。
最後に効果量の設定方法を説明すればおしまいですので
もう少しお付き合いください。
効果量
の設定
効果量とは以下の式で表される
どの程度の値の違いを差とするか、という基準となる量です。
以下で分母と分子について説明します。
｜今回の検定で差とみなす値
たとえば、機器の入れ替え前後でデータが同じであることを示したい場合、
どの程度の差であれば、同じであると言えるでしょうか。
単位はなんでもよいのですが
たった0.001違うだけで違いがあるとされるものなのか
10違っても同じとみなされる量なのか
これはそれぞれのケースによって異なると思います。
その値をに代入してください。
｜標準偏差
差がないことを示したいデータはどの程度のバラツキがあるでしょうか。
先ほどの機器の入れ替えの例をもう一度考えると
その機器であるサンプルを複数回測定する場合
どの程度値がバラつくのでしょうか。
そのバラツキの程度を標準偏差として把握しておく必要があります。
事前に同じ実験や測定を繰り返して
そのデータが持つバラツキを標準偏差として算出して
に代入してください。
まとめ
差がないことを示すためには検出力がポイントでした。
検出力を高く設定した上で検定を行い、
「差があるとは言えない」という結果が得られれば
「差がない」と積極的に結論づけよう、というものです。*3
具体的に検出力を高く設定するためには
式から算出されるサンプルサイズを確保する必要があります。
ぜひあなたの実験系でも試してみてください。
参考
永田靖「サンプルサイズの決め方」
