- Column
- 学校では学べないデジタル時代のデータ分析法
ビッグデータの法則:その1=95%は信頼できない【第19回】
企業ではかつて、「パレートの法則」に従っていた。売上高の80%は、誤差である5%を省いた95%の中で良く売れる20%の商品群が占めていた(図2の①)。
それが、米Googleが登場した1998年頃から「ロングテールの法則」が注目を浴びるようになった。これは、正規分布の左側の誤差を分析したものだ(図2の②)。年に1個か2個しか売れないような商品でも、商品数が多くなれば、それなりの売上高になる。
誤差として処理してきた領域が重要に
ここで忘れている箇所がある。右側の誤差の領域だ(図2の③)。ここはケタ違いの動きをするものの集まりである。このケタ違いの動きを表したところを「ベキ分布」という。これまでは、あまりにも、つかみにくいエリアのため、敢えて誤差として処理されてきた。それがデジタル時代になり注目の的になっている。
今、デジタルトランスフォーメーション(DX)が話題だが、DXを一言でいえば「変革」である。変革とは、それまでの概念を壊し新しいものを創出することだ。従来は、商品でも人材でも何でも95%を分析していたが、今の課題は、左右の誤差にどう対処するかである。
実際、IT産業は右側の誤差が世界を牛耳っている。Google、Amazon、Facebook、Apple、Microsoftの米国企業5社で、GAFAm、FAAMG、GAFMA、Big5などと呼ばれる。Microsoftの代わりにNetflixを入れてFAANG、Appleを外してFANGともいう。この企業の数が5~6社というのが実に興味深い。
かつて米IBMの創始者は「この世の中にコンピューターが売れる市場は5台程度しかない」と言った。この「5」という数字は、いまや現実味を帯び「6」という完全数に近付いていると推測できる。
データ分析は数学が1つの礎になっている。この数学をうまく活用した例の1つが貴族のギャンブルである。ギャンブルで負けるのは、賭け事の回数を増やし同じ金額を賭け続けるからだ。よく「ビギナーズラック」という言葉を耳にする。これは、最初の1回は意外と勝てるということで、それは数学的にも立証できる。
ビギナーズラックは、正規分布の右側の誤差の範囲に、いかに入るかということだ。回数を増やせば増やすほど真ん中のエリアが大きくなるため、数学的には分散が小さくなり、勝てる確率が低くなる(図3の右側グラフ)。
では勝つにはどうすればよいか?逆のことをすれば良い。
・短期決戦(正規分布の真ん中のエリアを低くする(図3の左側グラフ)
・ここぞという時に賭け金を大きくする
ビジネスでも同じことが言える。短期決戦で、ここぞという時に、資金や人材などを投入する。加えて、人がまだ気付いていない領域で、自らの土俵で勝負することだ。繰り返すが、従来信じられていた95%を信頼せず、新しい考え方を持つこと、これこそがデジタル時代の鉄則である。