データ分析の自動化は"工数削減"ではなく”ミスの減少”を考えるべき

本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1）

データ分析で手作業が多くなれば、それだけミスが発生しやすくなる

以前、「データ分析の失敗の大半は分析者の”思い込み”ではないか」という話題に触れましたが、結局のところ人の手が入る以上、そこにミスが発生しやすくなるのは必然です。そのため、データ分析の自動化が必要になるのです。

データ分析の自動化とは？

データ分析は、DBに対して特殊な命令文(SQLなど)や高機能なBIツールなどを複数回使って行われます。この処理と処理の間には、手作業が入るため、そこで操作ミスが発生する可能性があります。これらの処理同士を一連の処理として固め、手作業や人の判断を必要としなくすることが”データ分析の自動化”になります。

自動化を難しく考えてはいけない

”データ分析の自動化”と言った場合、「自動化＝システム開発」と連想してしまい、専門スキルが必要、開発工数が掛かるなどと考えてしまう方も多いと思います。しかし、システム開発を行わなくても可能な”データ分析の自動化”は沢山あります。これから簡単な自動化の方法についてご紹介したいと思います。

定型的な処理を纏めることが重要

毎月データを受領して分析するような定常分析業務などでは、毎回、DBに対して同じような命令文を実行することは多いと思います。しかし、これらの命令文は整理されているでしょうか？ 命令文を毎回作ったり、命令文が記載されたメモファイルが各所に点在させていることは無いでしょうか？
これらを命令文や処理、作業手順を纏めて”誰でも分かる”ように保存して置くことが重要です。”誰でも分かる”ようにのため”本人しか分からない”のは自動化にはなりません。自動化は、誰でも行えないと自動化になりません。可能な限り一個人に依存しないように処理を纏めましょう。

簡易なジョブ管理システムを使用する

日本でジョブ管理システムと言った場合、JP1などの高価な商用ツールを思い浮かべる方も多いと思います。しかし、商用ツールにも引けを取らない無償のジョブ管理システムが存在します。その中のTalend Open Studio(以下、TOS)は、ETL処理をプログラミング無しで行えるため、システム開発経験がなくても簡単な処理を作れます。これらの無償のジョブ管理システムを使うことで、分析データファイルの加工、DB操作などが比較的簡単に行えます。
(Talendの詳しい内容について：GiXo / Talendがバッチ処理の開発方法を変える)

“可変的な手作業”から”不変的な生産ラインプロセス”に替える

データ分析では、チームを組んで複数人でデータ分析を行うことは珍しくありません。その中で各自の担当領域を決めて、作業を進めますが、担当者が多くなればチーム分析が難しくなります。そのため、担当者間の処理を業務フローとして纏め、データインプットから結果を出すアウトカムまでを明確にする必要があります。
業務フローとして纏めることで、”なんとなく”行っていた担当者間の処理を受け渡しを明確にし、担当者間の受け渡し漏れを少なくすることができます。また、業務フローの進捗状況で分析チーム全体の進捗状況を把握することができます。

“ミスの減少”の対策が”工数削減”に繋がる

データ分析で100%の自動化はありません。なぜなら分析データは、業種業態などによって同じものはなく、人の思考が入るから分析データから新しい発見が生まれるからです。しかし、100%の手作業の内、10%でも自動化できれば、10%分のミスの可能性が減り、そして10%のミスの確認のためのチェック作業か減ります。結果、データ分析処理自体の工数削減は少なくても、チェック作業の工数削減が行えるため、データ分析のプロジェクト全体として工数削減を行うことができます。
データ分析の”スピード重視の自動化”は、パソコンやDBの性能によって処理の限界があるため、限定的な工数削減にしかならない場合があります。しかし、データ分析の”ミスの減少のための自動化”は、ちょっとした自動化でも、積み上げていけば、大きな工数削減になるのではないでしょうか。