そもそもデータは共有したほうが良いのか【第21回】

データ解析はDIKWピラミッドを順に構築するとは限らない

　DIKWピラミッドは、最下層のデータから段階的に有用な状態に変換されるモデルです。しかし、近年のデータ解析においては、少し様相が異なると考えます。

　データ解析には、基本的に（1）可視化、（2）要因分析、（3）予測・分類、（4）最適化の4つの段階があります。

（1）可視化 ：BI（Business Intelligence）ツールを使ってデータを多面的に観察する、など
（2）要因分析 ：統計解析により重要な因子を特定する、など
（3）予測・分類 ：ディープラーニングなどの機械学習で、ブラックボックスの画像を解析する、など
（4）最適化 ：予測結果を基に、取るべき行動を示唆したり、ソフトウェアや機械を制御したりする、など

　この4段階は、DIKWピラミッドと緩やかに対応しているように見えます（図4）。興味深いことに、これらは人間が理解できる形でピラミッドの段階を1段ずつ上がっていくための技術ではありません。限りなく生データに近いところから一気に必要な結果を吐き出す“end-to-end”の思想で設計されています。

図4：DIKWピラミッドとデータ解析の4段階

データ共有の重要さと複雑さが機械学習を要請する

　ここまでの考察をまとめると以下になります。

●DIKWピラミッドを太らせることが意思決定には重要
●データがサイロ化されていると各組織のDIKWピラミッドはなかなか成長しなければ、会社全体で1つのDIKWピラミッドを共有する形も現実的ではない。下層のデータを共有することが“山脈”のようなDIKWピラミッドを形成する
●データを共有することで、その量や複雑性が圧倒的に上昇し、人間が扱えなくなるため、機械学習などデータサイエンスの力を借りる必要がある

　近年は「ChatGPT」などのLLM（Large Language Model：大規模言語モデル）が話題になっています。LLMは言語を扱う技術です。私たちが日々、目にしている文章も多すぎると量・質ともに人間が扱えるという前提が崩れるため、文章もデータとして扱ったほうが良い状況になっています。

　例えば、言葉を入力し出てきた結果を順に読むという検索エンジンは「情報を検索する」というシナリオです。しかし近年のあまりに混乱した状況下では「情報ではなく知識や最適解をコンピューターから直接得たい」というニーズが生まれ「それに応えようとしているのがLLMだ」という構図ではないでしょうか。

　「どこまでがデータで、どこまでが情報なのか」「どこまでが情報で、どこからを知識と見做すのか」など、DIKWモデルには筆者には理解しきれないところがあります。それだけでなく、形成されたDIKWピラミッドも無形で定義できるものでもないだけに数も境界も示せるものではありません。

　その漠然とした感覚を差し引いたとしても、DIKWモデルのピラミッドを考えれば「データ共有」の意義が分かるのではないでしょうか。