生成AIにより高まる非構造化データの重要性【第86回】

ディープラーニングによる生成AIが非構造データの活用を可能に

　生成AIは、多様な形式を持つ非構造化データを認識技術によって活用可能にする。機械学習（Machine Learning）では、識別基準やルールを人が指定しなければならない。だがディープラーニング（Deep Learning：深層学習）では識別基準やルールもシステムが判断する。非構造化データをディープラーニングで学習すれば生成AIモデルを構築できる。

　生成AIモデルや認識技術を使って非構造化データを活用することが、今後の企業競争力を大きく変えることになる。企業は、自身がどのようなデータを持っていて、今後の改善や変革のためには、どのようなデータを収集する必要があるのかを考える必要がある。必要なデータがあってこそ、それらを活用した各種の最適化や生産性の向上、新ビジネスの構築などが可能になる。

　非構造化データは既に、企業活動のさまざまな場面で分析・活用されている。さまざまな文書やテキストデータを要約・分析し、各種の関係性や問題点を発見できる。流通・小売業なら、購買データや販売などのマーケティングデータから販売・製品戦略に役立てたり、SNSデータから顧客や市場動向を予測し企画に生かしたりできる。来店者の動線を解析すれば店内のレイアウト変更などにも使える。

　製造業なら、機器の状態データから保守スケジュールを決める予防保守や、ログデータの分析から障害の原因追求などが可能になる。高精細画像の画像認識と、感知機能による人やモノの認識により、製造ラインの監視や、分析による最適化、作業員の動線管理により安全性の確保や最適化・生産性の向上のための分析が可能になる。

　人の目では見分けるのが難しかった製品の異常や不具合の発見も可能になり、外観や不良品の目視検査にも使える。動画から人やモノなど特定の被写体を抽出する機能は、監視カメラや交通情報として車両の混雑度の分析に使われている。

データの統合管理で個別最適を全体最適に変える

　非構造化データの幅広い分析や活用を実現するためには、データの統合管理が必要である。構造化データ同様に、非統合化データを統合管理し、専門家や他部門からもアクセスできるようにする。特に非構造化データは、現場では特定の目的のために収集され個別最適に使われるため、それぞれの部門や個人に分散してデータが蓄積されている。部門横断で全体最適化のために使ったり、構造化データと合わせて分析したりするには、統合管理が不可欠だ。

　さらにデータ間の連携により新しい知見を発見できる可能性がある。クラウド化によって、複数のクラウドやオンプレミスの業務アプリケーションなどに分散されているデータにも、同様にアクセス可能にする必要がある。

　こうしたデータの分散化の傾向は、エッジコンピューティングやエッジのインテリジェント化によって、さらに進む。データのサイロ化を解消し、組織内のあらゆる場所に存在するデータソースへのアクセスの可能性を広げなければならない。

　そのためにはデータ保管場所の一元化が必要だ。その保管場所は、個人情報保護法やGDPRのようなデータ規制やプライバシーの考慮といったデータガバナンス、およびアクセス制限などのセキュリティ、バックアップなども統一的に実現する必要がある。

　そうした目的のための「データクラウド」も登場している。データクラウドは、データ量増大への対応を支援するだけでなく、企業内のデータソース／データの蓄積をサポートし、データ管理を統一する。複数のクラウドやオンプレミスに存在するデータの冗長性をなくし、容易なデータアクセスを実現する。

　データアクセスは、必要な人がアクセス管理の下に、横断的にデータにアクセスし活用できる必要がある。それができて初めて、データマネジメント基盤として分析や実際の改善、経営判断に使えるようになる。その際、データを他の場所に移動・複製して活用するのではなく、データクラウドの中で解析できることが望ましい。データ活用の推進には、このような統合化されたデータ管理の実現が重要である。

　なお非構造化データはデータ量が膨大なため、活用に向けては非構造化データの収集や蓄積への工夫も重要になる。例えば、蓄積時には前処理が必要だ。重複や不要なデータの削除やノイズの除去、極端な値を持つデータの取り除きなどである。これらの前処理の後、それぞれの非構造化データに対し、管理・検索・活用のために、作成日や作成者、分類などのメタデータを付与する必要がある。

新しい非構造化データの収集・活用が新ビジネスを生み出す

　これまで非構造化データは、特定の目的にしか使われてこなかった。これを見直すことで、非構造化データから導き出されるインサイトを意思決定に活用したり、画像データを認識・解析し新しいビジネスチャンスを見つけ出したりすることで、企業の競争力を高められる。画像による変革、自社ノウハウの生成AI化、それらによるノウハウの分析・継承の可能性もある。

　非構造化データと構造化データを組み合わせた分析によって得られるインサイトからは、他社との差別化やユニークネスが実現できる。そのためには、音声や画像、さまざまなデータを非構造化データの形で残し、その生成AI化を検討する必要がある。

　『MLBに見るデータ活用によるビジネス変革のあり方【第77回】』で述べたように、MLB（Major League Baseball）は、高解像度カメラやセンサーの導入により新しいデータを収集し、そのデータを使って選手の評価や育成、戦略立案、打撃や守備の評価指標までも変革している。同様に、新しい非構造化データの収集および分析・活用によって、ビジネス変革や新しいビジネスを生み出すことが可能になる。生成AIの時代、非構造化データの価値は、ますます高まっていく。