データ分析にはリスク管理・危機管理が不可欠【第14回】

　人に関するデータ分析を行う成否は、この「欲望」「正当化」「機会」のトライアングルをどう取り扱うかにかかっている。早いタイミングで芽を摘み取っておけば良い。

　「欲望」に係るデータは、人の明確な要求（デマンド：Demand）の領域になる。このデータを分析することは本質的に重要なことで、傾向を知るには、欲望に係るデータを可能な限りデジタル化し、発言内容や記述したコメントなどをテキストマイニングしておく。

　「正当化」は、人の顕在化した感情（エモーション：Emotion）の領域と深い結びつきがある。その人が、その感情を未だ十分に把握しておらず“何となく”という状態ならば、人の潜在的な心理（マインド：Mind）の分野となる。この正当化を適切に持っていくには地道に啓蒙や研修するしかない。

　そして、「機会」をなくすにはモニタリングすれば良い。意図のない単なる事象（イベント：Event）に関するデータをモニタリングし分析することが早道となる。なるべく、その事象が起こらないよう事前対策しなければならない。

　実は、このトライアングルはデータ分析者にも当てはまる。分析者にも欲望があり、それを正当化し、そして機会に出会うといい加減な結果になってしまう。データ分析は手を抜こうと思えばいくらでもできるし、頑張ろうとするととても時間がかかるからだ。

　「楽をしたい」という欲望、「早く報告するのだから手を抜くのは仕方がない」という正当化、最後は「実際に手を染めてしまう」という機会がそろえば、そのデータ分析は、とんでもない結果になる。データはブラックボックス化できるだけに一層、データ分析者は自戒しなければならない。

ノウハウ4：適切なデータ分量を知る

　1次データ、2次データも考慮すべき項目である。1次データとは特定の目的のために新しく収集されるデータのことで、主に実験や調査を通じて収集される。2次データは、他の目的のために自己または他者が事前に収集しているデータのことだ。

　1次データは臨場感のあるデータで生々しいが、2次データは脚色されている可能性も高い。1次・2次も含め、全部のデータを分析するには時間もお金もかかる。

　実はデータは多いほど良いわけではなく“中庸”が大切だ。対象の全データを分析すると、分析者が人でもAI（人工知能）でも過学習が起きてしまうからである。つまり、特殊条件を気にし過ぎて真実を逃してしまうことになるし、学習したことにしか対応できず新しいことに応用できなくなる。分析の適切な量を決めるのがデータサイエンティストとしての腕の見せ所とも言えよう。

　データ分析だけでなく、人を面談する場合や、モノを調査・検査する際にも中庸が求められる。たとえば、多くの候補者を面接して、その中から1人の秘書を決める秘書問題など最適停止問題が古くから扱われるように、全データを分析していては時間的に間に合わないだけに、適切な分量を選ばねばならない。

　次回は数学的・科学的な分析手法について説明したい。