エージェント導入における停止条件(Safety Guardrails)

エージェントが同じツールを延々と呼び続ける無限ループや、API課金が天井知らずに跳ね上がる事故を防ぐため、ループ上限(Max Steps)、コスト上限(Budget)、タイムアウト等のセーフティガードレールが必須です。 ア:誤りです。ツール実行の失敗や推論の堂々巡りにより無限ループに陥るリスクは極めて高いため、反復上限の設定は必須です。 イ:誤りです。単なるUIのログアウトではなく、バックグラウンドのプロセスやAPI呼び出しを強制終了するプログラム的ガードレールを設計します。 ウ:正解です。反復回数、トークン・コスト予算、タイムアウト等のガードレール設計要件を網羅的に説明しています。 エ:誤りです。ガードレールはシステムの暴走や巨額損失を防ぐための安全装置であり、知能を低下させるものではありません。

AIエージェントが予期せぬ暴走やリソースの枯渇を引き起こさないように設計する「停止条件(Safety Guardrails)」に関する記述として、最も適切なものを1つ選択してください。

出典生成AIパスポートオリジナル模擬試験
ア
AIエージェントには推論の迷走や無限ループは原理的に発生しないため、最大反復ステップ数やAPI呼び出し回数の上限を設定することは、エージェントの柔軟性を損なうため避けるべきである。
イ
エージェントの停止条件とは、ユーザーが画面右上のログアウトボタンを押すことのみを指し、自律処理中のバックグラウンドタスクをシステム側からプログラム制御して制約する仕組みは存在しない。
ウ
エージェントの無限ループや過剰なAPI課金を防止するため、最大反復ステップ数(Max Iterations)、トークン消費量や利用コストの予算上限、タイムアウト時間、異常な繰り返しパターンの検知などの「明確な停止条件(Guardrails)」をあらかじめ組み込む必要がある。
エ
停止条件をプログラム側で事前設定するとモデルの推論能力が著しく低下するため、本番システムであってもタイムアウトやコスト上限などのガードレールは一切設けずに完全自律稼働させることが推奨される。