商品データの整備で実際に起きている問題【第2回】

データ分析者の課題1：データ収集における構造的問題

　データ分析担当者が直面する最大の課題は、信頼性の高いデータを継続的に収集し、分析したい項目を生成／加工することです。例えば、清涼飲料水市場では月間100件以上の新商品が発売され、それぞれに20〜30項目のデータ入力が必要です。これだけでも月間2000〜3000件のデータポイントを毎回整備しなければなりません。

データ分析者の課題2：社内データの統合

　社内の各部署に分散して存在する商品データは、EC担当者の課題同様に“サイロ化”の状態にあり、分析に適した形式での統合が困難です。同じ商品に対し、店頭と工場で異なるIDが割り振られているというケースもあります。各部署が独自の形式でデータを管理しているため、分析用に加工する必要があります。

データ分析者の課題3：他社商品データの取り扱い

　分析精度を高めるためには、自社の商品データだけでなく、競合他社の商品データを含めた包括的な分析が不可欠です。しかし、さまざまなメーカーが継続的に新商品を投入する中、他社の情報を随時収集し、分析可能な形式に整備することは大きな負担です。

データ分析者の課題4：データ構造化の課題

　分析の目的に応じて、次のような項目を整備する必要があります。

・例えば大・中・小のカテゴリーに分けるような階層的な商品分類
・分析対象として注目したい特定の商品特性を示すフラグ。例えば「トクホ」「和」「ノンアル」「微アル」など
・商品の特徴を表すタグ。和風や食感などのキーワード

データ分析者の課題5：人的リソースの限界と現実的な対応

　上述したような大量データを人手で処理すれば、必然的に次の問題が発生します。

・表記の揺れ
・データ入力ミスの増加
・処理の遅延や分析の後れ

　筆者は、顧客が手作業で実施しているデータ整備業務の内容を把握するために、一緒に作業したことがありますが、やはりミスは起こりました。何より、その圧倒的なデータ入力項目数に打ちのめされました。データ整備に十分なリソースを継続的に確保できる企業は限られているのが実状であり、多くの企業は次のような状況に陥っています。

・一部、あるいは継続的なデータ整備を断念
・分析の範囲や精度を妥協
・重要な分析機会やAI技術の活用機会の逸失

データ統合における表記揺れの課題

　同じ情報であっても、取引先によって表記方法が異なるケースが頻発します。例えば、色の情報一つをとっても、以下のような、さまざまな表記が混在しています。

・「黄色」（日本語表記）
・「イエロー」（カタカナ表記）
・「YELLOW」（アルファベット全角）
・「yellow」（アルファベット小文字）

　アパレルでは「黒」を表すための単語が2000以上あるとも聞きます。

属人化による品質リスク

　データの統合・変換作業は多くの場合、担当者の経験と知識に依存する属人的な業務になっています。これにより以下の問題が生じています。

・担当者の異動や退職による業務品質の低下
・人的ミスの発生
・ナレッジの継承困難

データ活用の制限によるビジネスへの影響

　不統一なデータは以下のような重要な業務に支障をきたします。

・社内システムでの正確な在庫管理
・ECサイトでの商品情報展開
・店頭での販売分析（特に消費者が認識するカテゴリーや商品において）
・クロスセル施策の立案

データのサイロ化の深刻化

　取引先ごとに異なるデータ形式は、結果として社内データのサイロ化を助長します。EC担当者の課題でも指摘しましたが、以下のような問題が発生しています。

・部門間でのデータ共有の困難化
・全社的な分析・施策立案の遅延
・システム間連携の複雑化

　今回指摘したような商品データに伴う課題は、データドリブンな意思決定を目指す企業にとって深刻な課題です。効率的なデータ整備の仕組みを作ることは、今後の競争力維持・向上において重要な経営課題なのです。