購買系のビッグデータには「べき分布」が多く注意が必要
（第2回）と（第3回）で全量分析の優位点について紹介しました。本日からは、全量データに注意すべき点を説明します。本日は注意点①の以下のポイントです。
注意点①：サンプルデータは中心極限定理により正規分布を仮定されることが多いが、ビッグデータをそのまま扱うと「べき分布」になることが多く、分析には注意が必要。
「中心極限定理」とは、無作為抽出した標本で、かつ標本数が大きければ、母集団の分布にかかわらず「標本の平均値の分布」が正規分布に近づくというものです。これは誤解されることが多いのですが、母集団の分布にかかわらず正規分布に近づくのは、あくまで標本の「平均値の分布」で、「標本そのものの分布」は、当然のことですが「母集団の分布」に近づきます。しかし、統計分析の現場では、この中心極限定理を根拠に、サンプルデータでの統計解析をデータが正規分布であるという仮定で分析することが多いです。もちろん、多変量解析の手法の多くは、正規分布を前提としたものなので、こうした仮定をおくことは、やむを得ない部分もあります。しかし、分析にあたってデータの分布の「形」に注意しなければならないのは、サンプルデータもビッグデータも同様といえます。
マーケティング分野のビッグデータで多くみられる購買データの場合、「べき分布」に従うことが多いので、サンプルデータ以上に注意が必要です。「べき分布」とは、ざっくり言うと、サンプルのほとんどがゼロの値を取るが、ごく一部のサンプルは極端な値を取る分布のことで、資産の分布など、経済現象に多く出現する分布と言われています。
図1:正規分布
図２：べき分布
（出所：http://www5.cao.go.jp/seikatsu/whitepaper/h20/01_honpen/html/08sh21310c.html）
図1,図2に正規分布とべき分布のグラフを示しましたが、これだけでも分布の「形」が大きく異なっていることがご理解いただけるかと思います。
べき分布データでの多変量解析・重回帰解析は意味がない
ビッグデータで多くみられる購買データでは、「べき分布」が多くみられることから、正規分布を仮定した多変量解析の手法がうまく働かないことには、サンプルデータ以上に注意が必要になります。データの分布が正規分布にどれだけ近いかということについては、歪度、尖度といった基本的な指標があります。歪度とは、分布の「左右対称性」を表す指標で、尖度とは、分布の「尖り具合」を示す指標です。これらの指標はどのソフトでも簡単に出力できます。平均、分散、中央値（メジアン）、最頻値（モード）などの基本統計量とともに、確認しておくことが重要です。
べき分布の場合、歪度、尖度ともに非常に大きい値になります。このような場合には、主成分分析や因子分析といった、べき分布の変数同士による多変量解析は、まず意味がありません。また、べき分布を被説明変数とした重回帰分析についても、通常の線形回帰では正しい結果が出ないことが多いです。
対応先としては、被説明変数を「１－０」に変換したロジスティック回帰分析や、トービット・モデルを使用するなど、モデルを工夫する必要があります。多変量解析に頼らず、クロス集計を見るということも、有効な方法です。
【当記事は、ギックス統計アドバイザーの中西規之が執筆しました。】
中西 規之（なかにし のりゆき）
ギックス統計アドバイザー。公益財団法人日本都市センター研究室
