大規模言語モデル(LLM)におけるテキストの処理単位である「トークン(Token)」に関する記述として、最も適切なものを1つ選択してください。
出典生成AIパスポートオリジナル模擬試験
ア
LLMにおけるトークンとは、いかなる自然言語であっても必ず「文字1文字」または「単語1単語」と完全に1対1で一致する不可分の最小単位として定義されている。
イ
LLMがテキストを処理する計算単位であり、単語と文字の中間に位置する「サブワード(Byte-Pair Encodingなど)」単位で分割されることが多く、日本語は英語と比較して同一意味の文章でもトークン数が多く消費されやすい。
ウ
トークン数は文章の文字数と常に数学的に完全一致するため、英語で100文字のプロンプトと日本語で100文字のプロンプトは、モデル内部で常に全く同数のトークンとして扱われる。
エ
プロンプトに入力できるトークン数の上限を超過した場合であっても、モデルは自動的に過去のコンテキストをすべて永続メモリに保持したまま、一切の劣化なく推論を継続できる。