不均衡データにおける正解率(Accuracy)の罠とROC-AUC

不均衡データでは「全て陰性」と答える無能なモデルでも高い正解率が出てしまう「Accuracy Paradox」が生じます。そのため少数派クラスに対するRecallやPrecision、F1スコア、PR-AUCでの評価が重要です。 ア:正解です。正解率の罠を回避するため、混同行列の各指標やPR/ROC曲線を分析します。 イ:誤りです。正解率は不均衡データでは最も当てにならない指標です。 ウ:誤りです。ROC曲線は「横軸:偽陽性率(FPR)、縦軸:真陽性率(TPR=再現率)」です。横軸再現率・縦軸適合率はPR曲線です。 エ:誤りです。ROC-AUC=0.5はランダム予測(コイントスと同等)を意味します。完璧なモデルはAUC=1.0です。

スパムメール検知や不正送金検知のように、対象データの99%が「正常(陰性)」でわずか1%のみが「不正(陽性)」である極端な不均衡データセットの評価に関する記述として、最も適切なものを1つ選択してください。

出典G検定オリジナル模擬試験
ア
すべてのデータを無条件に「正常」と判定するモデルでも正解率(Accuracy)は99%に達してしまうため、正解率単独での評価は不適切であり、PR曲線やROC曲線、F値等を用いるべきである。
イ
不均衡データにおいては正解率(Accuracy)が最も信頼できる唯一の指標となり、適合率や再現率は計算不可能となる。
ウ
ROC曲線(受信者操作特性曲線)は横軸に再現率、縦軸に適合率をプロットした曲線である。
エ
どのような分類タスクにおいても、ROC-AUCの値が0.5であるモデルは完璧な判別性能を持つことを意味する。