トヨタ、業務データを横断検索する生成AIアプリをSaaSとして社内展開

社内への横展開を見据えた「RAG SaaS」構想を2カ月で実現

　RAG SaaS構想の実現に向けては、米AWS（Amazon Web Services）が2024年にリリースした生成AI関連機能を中心に開発を進めた。オペレーションDX改善室の時津 弘太朗 氏は「わずか2カ月の短期間で社内向けのRAG SaaS基盤を構築できた」と話す（写真2）。

写真2：トヨタ自動車 カスタマーファースト統括部 オペレーションDX改善室 時津 弘太朗 氏

　基盤構築には、アプリ開発ツールキット「生成AIアプリケーションビルダー」（米AWS製）を主に利用した。RAGアプリの基本構成をテンプレート（ひな型）化し、必要に応じて環境一式を横展開できる仕組みを整備した。アプリを動かすAWS環境のコードを記述した「CloudFormationテンプレート」を実行すれば、プロジェクト単位でRAG環境を立ち上げられる。

　ただし、運用を進めるなかでは「プロジェクトごとにRAGの仕組みを複製する仕組みは、利用者数の増加に比例してインフラコストとメンテナンス・運用負荷が膨らんでしまうという課題が浮き彫りになった」と時津氏は振り返る。

プロジェクト単位に検索フォルダーを制限しマルチテナント化を実現

　その課題解決に向けてオペレーションDX改善室が取り組んだのが「マルチテナント化」である。「ストレージサービス「Amazon S3」（米AWS製）のフォルダー構造を利用し、単一のRAGのなかで複数のプロジェクトを処理できるよう工夫した」と時津氏は説明する（図1）。

図1：「RAG SaaS」におけるマルチテナント化の実現イメージ

　具体的には、プロンプトを実行した利用者の所属グループ（プロジェクト）情報を「Metadata filtering」機能で識別し、その識別情報に対応するS3フォルダーだけを検索対象に絞る。この仕組みにより「環境を1つひとつ構築することなく、プロジェクトごとに分離された検索・応答環境を実現し、コスト面でも最適化を図れた」（時津氏）という。

　並行して生成AIのハルシネーション対策として、利用者が根拠になるデータソースにアクセスするためのUI（User Interface）を工夫した。時津氏は「回答内容と併せて、出典となるドキュメントや箇所を明示し『なぜこの回答が得られたのか』をすぐに確認できるよう設計している」と話す。

　RAG SaaSの仕組みを継続的に成長させるために、運用業務の効率化も図っている。UIコンポーネント「Storage Browser for Amazon S3」（米AWS製）を利用し、利用者自身が必要なドキュメントをブラウザー経由でアップロードできるようにした。同機能は「1日で導入できた。利用者の自律的な情報整備を支援できている」（時津氏）とする。

　加えて、RAGの活用と定着を加速させるためには「利用者に寄り添った改善活動が重要だ」だと時津氏は強調する。「単にシステムを提供だけでなく、実業務に即した形での運用改善やトレーニングなどを提供することで、利用者自身がRAGを“育てられる”ようにする」（時津氏）。社内向けの啓発セミナーやフィードバックの収集、システム改善に向け開発チームと利用者の定期的な対話の場も設けている。

クラウド共通基盤「TOROプラットフォーム」が早期立ち上げに寄与

　RAG SaaS構想の実現では、CloudFormationテンプレートやUIコンポーネントといったAWSが持つサービス群を組み合わせている（図2）。特に、Metadata filteringによるマルチテナント化と、Storage Browser for Amazon S3を活用した運用プロセスの効率化が「利用者の所属グループに応じたデータへのアクセス制御を可能にし、プロジェクトの増加にもコストを最小限に抑えられる点で有効だ」と時津氏は評価する。

図2：「RAG SaaS」環境のアーキテクチャー概要

　RAG環境の早期立ち上げの背景には、トヨタのクラウド活用専門組織「CCoE（Cloud Center of Excellence）」が提供する共通基盤「TOROプラットフォーム（TOyota Reliable Observatory/Orchestration Platform）」の存在がある。

　時津氏は「申請から2営業日でセキュアなAWS環境を立ち上げられるため、開発の初期工数が大幅に軽減された」と評価する。そのうえで「常に最新技術を学び続けることの重要性と、サービスをそのまま適用するのではなく、自社に合った形にカスタマイズして活用することの重要さを学んだ」（同）と話す。

　今後は「今回の学びを生かし、AWSの柔軟な機能群を土台に、さらなる業務改革を目指していく」と時津氏は力を込める。