- Column
- 課題解決のためのデータ活用の始め方
企業内に点在するデータを収集して蓄積する【第6回】
ETLツールとDWHを結ぶデータパイプラインを整備する
DWHには、「AWS（Amazon Web Services）」や「Google Cloud Platform」「Microsoft Azure」などのクラウドサービスが提供する「Amazon Redshift」や「BigQuery」「Azure Synapse Analytics」や、DWH特化のクラウドサービスである「Databricks」や「Snowflake」などがあります。
その選定においては、DWH単体の機能だけでなく、DWHが稼働するクラウド環境を含めたサービス内容を考慮する必要があります（図2）。データの利用目的が明確であれば、その目的に適した機能が充実しているサービスを選ぶと良いでしょう。
一方、利用目的が確定していない場合は、スモールスタートを前提に、既存の業務システムや分析システムなどとの親和性が高い環境を選択するのがお薦めです。
ETLの実装手段としては、クラウドサービスが提供するETLツールや商用ETLツールのほか、オープンソースのETLツール、あるいは自前で必要な機能を構築する方法があります。第1の選択肢は、DWHと同じクラウドが提供するETLツールです。DWHとの親和性が高く、統合的に管理できるメリットがあります。
ただし、多くのクラウドサービスは外資系ベンダーが提供しており、日本市場でのみ展開されている業務システムとの接続用コネクターが用意されていないケースが多くあります。国内限定のシステム／サービスとの連携が必要な場合は、各種コネクターが充実している商用ETLツールを検討する必要があります。
データ収集の仕組みの構築において重要なのは（1）データ収集のためのパイプラインと（2）DWH内でのデータ加工パイプラインの2種類のパイプラインを、できる限り統合して管理することです。一般には、前者はETLで、後者はデータ操作言語「SQL」などを使って実行します。
このデータ収集から、利用目的に合わせて整理したデータマートに加工するまでの一連のパイプラインを統合して管理できれば、運用・保守が容易になります。データソースごと、プロセスごとに個別のツールで管理すると運用が煩雑になり、トラブル発生時の原因究明も困難になります。
パイプラインを管理する上で重要なのが「データカタログ」です。どんなデータが、どこに存在し、どのように加工されているかを一元的に管理・可視化する仕組みです。データカタログを整備することで、パイプラインの修正やBI（Business Intelligence）ツールによる分析などの際に、データの内容や加工プロセスの理解が容易になります。
データを最新状態に保てるだけの理解と運用が重要に
ETLとDWHの構築・運用においては以下のような課題がよく発生します。
課題1：データ定義書のメンテナンス不足
パイプラインの開発は従来、データの定義書をExcelやWordで作成・保管していました。しかし、システムの修正を重ねるうちに定義書が更新されず、システムの実態と定義書の内容が、かい離してしまうことが多くありました。そうなると、パイプラインの修正や環境移行の際に、前回説明した「現状調査」に大きな手間とコストがかかります。
対処法の1つが、前述したデータカタログを整備し、継続的にメンテナンスすることです。データカタログを整備することで、メタデータ（データの意味や性質などに関するデータ）を一元管理し、常に最新の状態に保てます。これは、データガバナンスの観点からも重要な取り組みです。
課題2：外部ベンダーへの過度な依存
パイプラインの開発を外部ベンダーに委託し、データ定義書などを受け取っても、自社内に、その内容を理解している人がいなければ変更をベンダーに依頼するしかなくなり、いわゆる“ベンダーロックイン”の状態に陥ってしまいます。
対処法としては、引き継ぎも含めて一定レベルの内製化を意識することが重要でしょう。開発行為やプログラミングまでを完全に自社で行う必要はありませんが、少なくとも設計を理解できる人や、データの内容を理解している人を社内に確保しておく必要があります。
ETLとDWHは、バラバラに存在するデータをつなぎ、活用できる状態にするための仕組みです。その選定に当たっては、利用目的や既存システムとの親和性、連携するデータソースの種類などを総合的に考慮することが重要です。データ収集パイプラインとデータ加工パイプラインを統合管理できる環境を構築し、データカタログで管理することで、運用効率を大幅に高められます。
次回は、統合したデータを可視化し、ビジネスに活用するためのBI（Business Intelligence）ツールについて解説します。
若尾 和広（わかお・かずひろ）
primeNumber データイノベーション推進室 室長、プロフェッショナルサービス本部 プリンシパルソリューションアーキテクト。大日本印刷のビッグデータ分析部門立ち上げに参画した後、電通系マーケティング会社（現電通デジタル）にてCRMコンサルタント、BIシステム開発に従事。事業会社を経て、ブレインパッドにてプリンシパルコンサルタントとしてデータ分析やデータ活用基盤の構築、MA導入、分析／DX組織の立ち上げ支援などに従事。現在はprimeNumberのプリンシパルソリューションアーキテクトとしてクライアントのデータ活用を支援するとともに、データイノベーション推進室 室長として生成AI技術を中心としたR&D領域を担当している。