アノテーション品質管理とアクティブラーニング

アクティブラーニング(Active Learning)は、モデルの確信度が低いサンプルを能動的に選別して人手アノテーションに回すことで、少数のアノテーションで最大の学習効果を得るアプローチです。 ア:正解です。不確実性サンプリング等によりアノテーションコストを最小化します。 イ:誤りです。作業者間のアノテーション揺れを防ぐため、厳密なアノテーション仕様書とインターアノテーター合意度(Cohen's Kappa等)の測定が不可欠です。 ウ:誤りです。クラウドソーシングではノイズラベルが混入しやすいため、重複割り当てやフィルタリングが必要です。 エ:誤りです。段階的なデータ追加と反復学習が標準的です。

教師あり学習のためのデータセット作成における「アノテーション」および「アクティブラーニング(能動学習)」に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
アクティブラーニングは、モデルにとって予測の不確実性が高い(判定に迷う)未ラベルデータを優先的に選択して人間にアノテーションを依頼することで、ラベリングコストを抑えつつ効率的に性能を向上させる手法である。
イ
アノテーション作業では作業者ごとの判断基準のばらつき(アノテーション揺れ)を無視し、ガイドラインの策定は行わないのが鉄則である。
ウ
クラウドソーシングで集めたラベルは常に100%正確であるため、品質チェックや多数決判定は一切不要である。
エ
全データに一度にラベルを付与しなければ、機械学習モデルの学習を開始することは一切できない。