CLIP(Contrastive Language-Image Pretraining)の対照学習

CLIP(Radfordら)は4億組の画像・テキスト対から対照学習(InfoNCE損失)を行いました。同一埋め込み空間に画像とテキストを写像するため、「画像とテキストの類似度」を直接計算でき、驚異的なZero-shot画像分類能力を発揮します。 ア:正解です。画像とテキストのマルチモーダル対照学習により共通意味空間を構築します。 イ:誤りです。文字認識OCRに特化したモデルではありません。 ウ:誤りです。CLIP自身は類似度をスコアリングするエンコーダであり、画像生成器ではありません(DALL-E 2やStable Diffusionの誘導役として使われます)。 エ:誤りです。Webから自然に得られるキャプションテキストとのペア(弱教師あり)で学習し、高価な人手BBoxラベルは不要です。

OpenAIが開発したマルチモーダル基盤モデル「CLIP」の事前学習手法に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
画像エンコーダとテキストエンコーダを用い、インターネットから収集した大量の「画像と説明テキスト」のペアについて、対応する正例ペアのコサイン類似度を最大化し、無関係な負例ペアの類似度を最小化する対照学習(Contrastive Learning)を行う。
イ
画像からピクセル単位のテキスト文字をOCRで読み取ることだけを目的とした認識モデルである。
ウ
テキストを与えると画像をゼロから描画するオートリグレッシブな画像生成モデルである。
エ
事前学習に数百万枚の画像に対する人手で厳密に作成されたバウンディングボックスのアノテーションが必須である。