東洋建設、工事現場のカメラ映像から作業状況を文章や音声で知らせる生成AIシステムを開発

　東洋建設が開発した「生成AI映像分析システム（VLモニター）」は、工事現場のカメラ映像を生成AI（人工知能）技術で解析し、現場の状況を文章および音声で通知するシステム（図1）。事前設定した警戒エリアに人物や物体などの監視対象が侵入すると警告文で通知する。

図1：吊荷作業中の作業員が警戒エリアに侵入した際の分析結果の例

　警戒エリアは、管理者用PC画面上で、監視対象はプロンプト（指示文）で指定する。現場ごとの要件や作業の内容ごとに調整することで、例えば、特定作業中の立入禁止区域の監視や、重機と作業員の距離関係の確認など、現場に応じた監視ができるようにする。

　これまで、機械学習などによる画像認識により作業員や船舶などを検出するシステムを構築・利用してきたが、学習していない対象を含む事象の認識に制約があった。

　VLモニターでは、カメラ映像を現場に置いたPCを使って任意の間隔の画像として切り出し、事前登録したプロンプト共にクラウド型のAIサービスにAPI（Application Programming Interface）経由で送信する（図2）。

図2：「生成AI映像分析システム（VLモニター）」のシステム概要

　AIサービス側では、画像の内容とプロンプトとを解釈する。生成AI技術の1つであるVLM（Vision Language Model：視覚言語モデル）を使い、画像と文章をVLMで扱うことで両者の意味関係を横断的に理解できることから、現場の状況をより的確に把握できるとする。

　今後は、VLモニターによる映像分析の結果を、作業機械や各種計測機器のデータと連携し、既存技術の高度化と新たな施工管理技術の開発を進める計画だ。