B 社は，自社のコールセンター業務において，オペレーターを支援するためのAI を利用したチャットボットの導入を計画しており，現在，構想立案後の概念実証（以下，PoC という）の段階である。コールセンターとシステム部は，協議して作成した構想立案書を基に作成したPoC 計画書に基づきPoC を実施し，その結果をPoC 評価書としてまとめたところであり，監査部はシステム監査を実施することにした。
〔チャットボット導入計画の概要のヒアリング結果〕
(1) 概念実証 コールセンターは，PoC 計画書に基づき，問合せの顧客音声（以下，学習データという）とオペレーターの回答音声（以下，教師データという）の1 か月分を準備した。システム部は，準備したデータをAI に学習させ，PoC の実施結果をPoC 評価書としてまとめた。ただし，PoC の実施結果に一部想定外の状況が発生しているので，PoC を継続する予定である。
(2) 開発概要書 システム部は，PoC 評価書を踏まえた開発概要書を作成し，要件定義に向けた準備を進めている。開発概要書には，次のとおり記述されている。 (ⅰ) システム部が開発し，コールセンターはテスト工程で操作性などを確かめる。 (ⅱ) テスト工程では，学習データと教師データを新たに3 か月分準備して学習させ，結果を評価し，想定した結果が得られた場合には本番移行が承認される。 (ⅲ) 本番移行工程では，学習データと教師データの量を新たに6 か月分準備して学習と評価を行い，本番運用を開始する。
(3) オペレーター教育 開発概要書には，オペレーター教育について，“現行のマニュアルの中で操作方法が変更になる箇所だけを更新し，業務の繁閑を考慮しながらオペレーターを教育する”と記述されている。
〔監査チームが想定したリスク〕 監査チームは，チャットボット導入計画の概要のヒアリング結果を踏まえて，次のとおりリスクを想定した。
(1) PoC 工程 継続する予定のPoC の計画が曖昧なことによって，PoC の実施結果の良否を判断できず，PoC の終了を判断できない。また，評価結果が不明確なことによって，開発計画が不確かなものとなり，期待どおりのチャットボットを開発できない。
(2) 要件定義工程 構想立案書の内容が要件定義書に反映されないことによって，期待される効果が実現できない。
(3) 設計・実装・テスト工程 要求される品質を満たす学習データと教師データを選定，準備して学習させ，結果を評価しないことによって，不適切な回答を生成する。
(4) 本番移行工程 本番移行工程とテスト工程で，学習結果を評価する指標が整合していないことによって，要求される回答の精度を満たさない。
(5) オペレーター教育 オペレーターの多忙によって教育が不十分な場合，AI が示した誤った結果をそのまま顧客に回答する。
〔監査要点の整理〕 監査チームは，想定したリスクを踏まえて，表1 のとおり監査要点を整理した。
表1 監査要点
項番 | 工程 | 監査要点 |
|---|---|---|
(1) | PoC 工程 | PoC 工程の計画，評価基準，評価結果は明確か。 |
(2) | 要件定義工程 | 構想立案書の内容を踏まえて，要件定義書を作成する計画となっているか。 |
(3) | 設計・実装・テスト工程 | 要求品質を満たすための学習データと教師データを準備する計画となっているか。 |
(4) | 本番移行工程 | テスト工程で学習結果を評価する指標と同じ指標で評価する計画となっているか。 |
(5) | オペレーター教育 | AI の特性を踏まえたオペレーター教育の内容を検討し，実施する計画となっているか。 |
監査部長は，監査要点をレビューし，“〔監査チームが想定したリスク〕に照らしてみると，不十分な監査要点があるので見直すこと”と指示した。
設問 監査部長が見直すように指示した監査要点に対応する表１中の項番はどれか。解答群のうち，最も適切なものを選べ。