統計的検定とは？
（第2回）と（第3回）で全量分析の優位点について、（第4回）で全量データを分析する際の注意点①を紹介しました。本日は、２つ目の注意すべき点である以下について説明します・
注意点②：標本統計を前提とした統計的検定は、ビッグデータの場合あまり意味がないことに留意する必要がある。
まず「統計的検定」では、統計解析をして得られた結果が、偶然によるものかどうかを判定します。判定結果が「偶然の範囲内」という判定になれば、その結果は意味がないということになります。一般的に、「偶然の範囲内」かどうかは、偶然であるという仮定した場合の値と、実際に計測された値の「差」を統計的に計算して得られた確率が１％未満の場合、「偶然ではない」と考え、これを、「統計的に有意」といいます。場合によっては、この統計的に計算して得られた確率を直接示すこともあり、これをｐ値といいます。
例えば、重回帰分析の場合、「y=a1x1+a2x2+・・・+anxn+b」というモデルを設定し、統計解析により、a1～anの値を推計します。このとき、a1～anのそれぞれについて、推計値がゼロであった場合と、実際の推計値との「差」を統計的に計算し、ｐ値を求めます。これが、１％未満の場合、「統計的に有意」と判断し、もし係数aiが「統計的に有意」であった場合には、変数xiはyに対して「影響を与えている」と考えます。
ビックデータで統計的検定をするとどうなるのか？
ここからが重要なのですが、このような統計的に有意かどうかの検定については、サンプル数が大きくなればなるほど、小さな「差」でも統計的に有意としてしまうことが、広く知られています。したがって、ビッグデータで統計的検定を行う場合、検定の種類にもよりますが、ごくわずかな差でさえも「統計的に有意」としてしまうことが頻繁に発生します。具体的には、ビックデータで重回帰分析などをすると、ほとんどすべての係数について、p値がとても小さい値になります。そのため、サンプルデータのように、ｐ値だけをみて、「統計的に有意」であると決めつけるような分析結果の読み方をすると、判断を誤る危険性が非常に大きくなります。
ビックデータでの統計モデルの評価方法
では、ビッグデータ分析の場合にどのように統計モデルを評価すればいいのでしょうか。
実は、学術的な世界でも、帰無仮説検定に偏った統計解析のあり方に対する改革が進んでいるところです（大久保街亜・岡田謙介(2012)『伝えるための心理統計―効果量・信頼区間・検定力―』勁草書房）。具体的には、「統計的に有意かどうか」だけをみるのではなく、推計した説明変数が、被説明変数に実際にどの程度影響を与えているか、すなわち、「効果量」をきちんと示すことなどが提唱されています。これらの動向も踏まえて、ビッグデータ分析においても、統計的に有位かどうかだけを見るのではなく、効果量をしっかりと見て判断するということを心掛けてください。
【当記事は、ギックス統計アドバイザーの中西規之が執筆しました。】
中西 規之（なかにし のりゆき）
ギックス統計アドバイザー。公益財団法人日本都市センター研究室
