トヨタTDC、データ分析の前処理時間をNEC製ツール使い6割削減

　トヨタテクニカルディベロップメント（TTDC）は、トヨタグループにあってIP(知的財産)事業や計測シミュレーション事業を手掛けている。自社製のAI（人工知能）フレームワーク「Spicy MINT」において、NECが提供するテーブルデータ分析用ライブラリーを高速化するツール「FireDucks」のベータ版を適用したところ、データ解析時間を60％、解析用PCの稼働時間を76％、それぞれ削減できたという。

　FireDucksは、プログラミング言語の「Python」において、テーブルデータ分析用ライブラリー「pandas」の処理を高速化するためのソフトウェア。データ分析に必要なデータの前処理を高速化することで、データサイエンティストの業務時間を約30％削減し、コンピューティングコストを低減できるという。それにより省電力化やCO2削減など環境課題の解決にもつながるとしている。

　高速化のためにFireDucksは、マルチコアCPUの全コアを利用してデータを並列で処理する。さらに、プログラム通りの範囲や順番ではなく、必要な処理の全体から結果を出すのに必要なデータを事前に把握し、そのデータだけを処理する（図1）。これらにより、pandasで作成するソフトウェアプログラムを最大で16倍、平均で約5倍高速化できるとする。

図1：「FireDucks」による処理最小化のイメージ

　NECはFireDucksのベータ版を2023年10月19日から無償公開している。TTDCでの取り組みは、公開を前に実施した結果だ。今後は、β版での有効性を実証しながら機能改良を進め、2024年度中の事業化を目指す。

　NECによれば、データサイエンティストはデータ分析の前処理に業務時間の約45％を費やしている。データの増加とAIやML（機械学習）の高度化に伴い計算量が増え、クラウドなどの計算コストや、それに起因する消費電力やCO2排出量の増加が問題になっている。