DXの進展が生み出す新たなサイロ化、多様なデータ連携が重要に

サイロ化が進むデータを柔軟に連携できる環境が求められている

　ETLツール自体は決して新しい存在ではない。これまでも業務システムの構築やシステム連携の際には利用されてきた。

　しかし吉田氏は利用状況の変化を指摘する。「従来のETLは、主にデータの移行や業務システムの構築など“一度構築したら変更しない”という利用シーンが多かったと思います。それが最近は、さまざまなデータを組み合わせた分析ニーズが高まってきたことで、ETLに対してもサイロ化されたデータを必要に応じて連携できる環境の実現が求められています」

　どういうことか。CDPを構築するなどして顧客接点を強化しようとしている事業部門のデータ分析の実態を吉田氏は次のように説明する。

　「データ分析の専門家ではない営業部門などの担当者は、小規模なデータ分析を繰り返すなかでデータ分析の有効性に気付き、そこから『こんな分析がしてみたい』『こんな活用ができるのでは』と新たな分析に取り組まれるケースが少なくありません。3つのシステムに分散していたデータをReckonerで統合し分析してみたら新たな洞察を得たという事例もあります。データが分散して存在するなかで、エンジニアでなくてもデータを柔軟に連携し、データ統合の“トライアンドエラー”ができる環境、つまり誰もが容易に仮説検証ができる環境を構築することでデータ分析の障壁を下げ、より本格的なデータ分析やDXへの取り組みへとつなげようとしているのです」

　データ統合のトライアンドエラーを可能にするためにReckonerが提供する機能の1つに、データ統合結果のプレビュー機能がある。実際のデータを対象に、その変換や結合を設定すると、実際にデータ統合を実行する前に、データのスキーマ情報やデータの中身を確認できる。プロセスごとに、どのようにデータが変化していくかが分かるため、設定上の間違いを見つけやすくなるという。

図2：クラウド型ETLツール「Reckoner（レコナー）」のプレビュー画面

　種々のシステムとのデータ連携を可能にするための接続用アダプターの品ぞろえも強化している。データ連携のためのアダプターが用意されていない接続先に対しては、「そのシステムのAPI（アプリケーションプログラミングインタフェース）が分かればデータ連携が可能です」（吉田氏）とする。

　今後は、データの連携先の拡充だけでなく、コンテナ技術を使って任意のプログラミングコードを実行できる環境を提供する予定だ。

　コードの実行環境の有用さについて吉田氏は、「例えば、対象サイトからデータを取得するクローラーをコンテナ内にプログラミングし、Reckonerから起動できるようになります。クローラーが取得したデータをReckoner内で加工し、DWHやデータベースに投入すれば、必要なデータを収集してくれるデータ分析基盤を構築できるのです」と語る。

ますますバラバラになるデータを扱うワークフローをデザインする

　Reckonerによりデータ連携が容易になることは、データサイエンティストやデータアナリストなどデータ分析の専門家にとってもメリットがある。「データのサイロ化によりデータ分析の前段階にあるデータの統合・成形に多大な手間と時間を取られています。Reckonerはそうしたデータの前処理の手間を削減できるため、アルゴリズムの考案やデータ分析など、彼らが本来やるべき業務に注力できるようになります」と吉田氏は強調する。

　実は吉田氏がReckonerを開発しようと決めたきっかけも、ここにある。「私自身、5年ほど前にデータエンジニアリングの仕事に携わっていましたが、データの扱いでは非常に辛い思いをしました。数カ月後にも同じような案件に遭遇したことで『ETLはどの企業にも共通の課題だ』と気づいたのです。当時、ETLにはクラウド型のマネージドサービスがなく、かつ海外ベンダーの製品は国産SaaSを対象にしたアダプターが提供されていませんでした」と当時を振り返る。

写真2：自身のデータエンジニアリング案件での経験がクラウド型ETLサービス「Reckoner」を開発するきっかけだった

　自らの体験から、クラウドネイティブなETLツールとして設計したReckoner。今後のデータ分析の勘所と、そこでのETLツールの価値について吉田氏は、こう展望する。

　「サイロ化を受け入れながらデータに流動性を持たせることを優先しようとする機運が高まってきています。データ分析基盤やデータ分析ツールは、今後も進化が続くだけに、その時々の状況に対応できるだけの柔軟性をいかに確保するかが重要になってきます。Reckonerは単なるETLツールではなく、データ分析のためのワークフローをデザインするための基盤なのです」