マルチモーダルAI

マルチモーダルAIは、文章、画像、音声、動画、センサ値など異なる種類の情報（モダリティ）を組み合わせて理解・関連付け・生成するAIです。

■ 試験で押さえるポイント

• 画像と質問文から回答する、音声と映像から話者や感情を推定する、文章から画像を生成するなど、複数モダリティ間の対応を共通表現や融合処理で学びます。

• 入力段階で特徴を結合する早期融合、各モデルの結果を結合する後期融合などがあり、モダリティ間の時刻同期・位置対応が重要です。

• 一つの情報が不鮮明でも他の情報で補える一方、相互に矛盾する入力、欠損、片方への過度な依存が誤判断を生むため、モダリティ別評価が必要です。

■ 選択肢での判断ポイント

テキスト＋画像、音声＋動画のような複数モダリティの統合を選びます。複数言語だけを扱うことや、複数モデルを並べるだけとは限りません。

例: 保守AIが機械の写真、異音の録音、振動センサ値、作業員の質問をまとめて解析し、故障候補と確認手順を文章で返します。