ミスで致命傷を負う前のリチェック機構の作り方
リチェック機構とは
データ分析を進める人の中でミスが少ない人の特徴に「こまめに確認点をおいてある」ということがあります。確認点というのは、ある程度分析作業が進んだ時に、一度立ち止まってそれまでの作業の手順、数式、データそのものを確認する地点のことです。何度もチェックを繰り返して、慎重に作業を進めることは基本としても、それではミスに気が付かないことがあります。そんな時事前に、ミスを起こした場合、アラートが上がるような仕組みを用意しておくことがリチェック機構と本連載では名づけています。(例えば、Windowsで、間違ったキーを押したときに上がるアラーム音もエラー発見機構の一つですね)
基本お作法
基本お作法1:数式による多重検証
まず簡単な機構の一つが、数式を用意しておくことです。特にデータ分析の総和がずれることはありえないことです。また、アンケート調査においては回答数を示すNがずれるということもありえないことです。(データの持ち方で未回答者はちゃんと未回答者としてカウントしていることが前提)そのような基本量となる総和を、行った様々な分析で、面倒でも計算式により導出し、ローデータでもあるインプットデータと相違がないか、簡単な計算(A-B=0かどうか)で検証するだけでも、データ参照ミスや分割ミス、抜け漏れが各段に減ります。
基本お作法2:切り口変更による検証
そして次に考えられる機構が、データの構造の縦と横を活用した検証の数式です。お作法1では総和を別のデータテーブル間で比較検証するやり方でしたが、縦の分類での総和は必ず総計と同じになるはずですす。また横の分類での総和も同じく総計と同じになるはずです。しかし、データ行がずれていたり、値が無いデータが、実は0が入っていることで、値が存在するとして計算されていたり、(正しくはNull値でないとならない)ということは往々にして存在します。データ分析者が思いつかないようなソフトウェアの誤認や元々のインプットデータを作成した人の作法に起因するデータに対する考え方の違いなどで起きる総和のズレは頻繁に発生すると考えてください。
基本お作法3:感覚値との一致
最後は、データ分析者の感覚との一致です。この機構だけは数式などで導き出せるものではないのですが、出てきたアウトプットを少しでも考えるだけで実は様々なミスに気が付くこともできます。例えば、出てきたデータをX倍すると日本の人口になるはずなのに8億人になってしまった(日本の人口は1億200万人程度なことは常識ですよね)とか、出てきた自社の売上に関するデータを積み重ねたら、自社の売上の5倍になってしまった(なるはずがないですよね)など。少し調べるだけでも、おかしいと気が付くことができるのでしたら、出てきた結果をネットなり社内ヒアリングなりでも調べて、大体の値と比較してみましょう。
しかし、この機構には前述の通り、「考える・感じる」というプロセスが必要なため、ここまでの連載で話してきたミスプリベンションの基本を押さえていないとなかなか難しいことがあるかもしれません。というのも、アウトプットが出てくる段階では、ミスプリベンションin分析(2)でお伝えしたとおき、自らが考えたゴールとアウトプットがどうなのかをちゃんと考え、仮説との違和感を感じ取る力が必要です。
そのためには、日ごろから情報のアンテナを高くし、様々な感覚を磨いていくことで、より鋭い分析視点が磨かれるとともに、ミスにも気が付くことができるようになるでしょう。
さて、いかがでしたか?全6回に渡ってお話ししたミスプリベンション。
少しでも、今後のデータ分析に活用頂ければ、嬉しい限りです。最後にもう一度だけ改めてお伝えしたいのは、ミスを「防ぐ」ことは難しいということ。しかし、基本の“型”を理解し、身に着けることで、ミスに「気が付く」ことはできるということ。どうか、基礎を身に着け、素晴らしい分析を生み出してください!
連載記事リスト:「ミス・プリベンション」in アナリティクス