マルチモーダル基盤モデル(VLM)とクロスアテンション

近年のVLMは、ViTで抽出した画像パッチの特徴量を線形投影(プロジェクター)によってLLMの埋め込み空間と次元を揃え、「視覚トークン」としてテキストトークンと同列にTransformerへ流し込むことで高度な視覚推論を実現しています。 ア:正解です。視覚情報を言語モデルのトークン列として統合処理するモダンなVLMアーキテクチャです。 イ:誤りです。点字や音声変換を介するものではありません。 ウ:誤りです。エンドツーエンドのニューラルネットワークです。 エ:誤りです。画像とテキストの両方を理解し、対話や推論を行うマルチモーダルモデルです。

GPT-4VやLLaVAなどのVision-Language Model(VLM)が画像とテキストを統合して理解・対話する仕組みに関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
画像エンコーダ(Vision Transformer等)によって画像を視覚トークン列の埋め込みベクトルへ変換し、プロジェクション層を介してテキストトークンと同じ潜在空間に整列させた上で、LLMの自己注意機構に入力して一連の文脈として処理する。
イ
画像を一度すべて点字データに変換し、音声合成エンジンを介してLLMに音声入力する。
ウ
画像処理専用のCNNと自然言語処理専用のLSTMを直列に繋ぎ、中間に人間のオペレーターが手動で介入する。
エ
テキストを一切処理できず、画像同士の類似度比較のみに機能が限定されている。