CCCマーケティング、データ分析基盤を刷新し処理時間を10分の1に

　カルチュア・コンビニエンス・クラブ（CCC）グループのCCCマーケティングは、ポイントサービス「Tポイント」のデータなどを使ったマーケティング事業を展開する企業。今回、Tポイントの会員データを分析するための基盤を刷新した（図1）。

図1：CCCマーケティングが導入したデータ分析基盤の利用イメージ

　新基盤では、複数あるシステム環境の独立性を保ちながら、データ処理の実行環境を統一した。ジョブの失敗が減り、失敗時も容易に発見できるようになったという。ほぼすべてのデータ処理言語をPythonに統一しノートPC上でコーディングすることでメンテナンスや変更を容易にした。大規模データの分析処理における試行錯誤が容易になり、アルゴリズムの精度向上に取り組みやすくなったとしている。

　これらの結果、ジョブの実行時間を従来の340時間から34時間へと10分の1に短縮した。結果、クラウドの利用コストも5分の1に削減できた。運用工数も削減できており、余剰時間を使って、より高度なデータ処理に挑戦できるようになったという。

　従来のデータ分析基盤では、（1）複雑なジョブフロー、（2）複雑なデータ処理(データサイロ)、（3）精度向上の限界という3つの課題があったとする。

　ジョブフローでは、共有データベースからのデータ取得、データの前処理、モデルの作成処理といった工程を、それぞれ異なるシステム環境で実行していた。各工程に問題箇所が複数存在したうえに、問題が発生してもリアルタイムに発見できないケースもあったという。

　データ処理では、各環境のメンテンスや設定変更が困難だった。分析対象のデータ形式や処理プロセスの種類の別に異なる実行環境を抱え、PythonやSQL、Shellといった複数のプログラミング言語を使用していたからだ。

　精度についても、予測の手掛かりとなる新しい特徴量を見いだしたくても、保有するデータの規模が大きく試行錯誤ができる環境がなかったという。

　新データ分析基盤には「レイクハウス・プラットフォーム」（米Databricks製）を導入した。

　Tポイントの年間利用会員数は7000万人を超え、購買トランザクションは年間35億回に上る。CCCマーケティングでは、会員の属性や購買データ、行動履歴を機械学習でスコアリングし、会員一人ひとりの志向性を推計したデータを「顧客DNA」と呼び保有している。