トークン(Token)の概念とサブワード分割

LLMは文字列をそのまま処理するのではなく、トークナイザーによって「サブワード(Subword)」と呼ばれる単位に分割してID化します。英語では1単語≒1〜1.3トークン程度ですが、日本語の漢字や平仮名は1文字で複数トークンに分割されることがあり、コストやコンテキスト長に影響します。 ア:誤りです。トークンは文字単位とも単語単位とも限らず、頻出する文字列断片をまとめた「サブワード単位」で扱われます。 イ:正解です。サブワード分割(BPE等)の概念と、日本語におけるトークン消費の傾向(トークナイザーの語彙構成による差異)を正しく説明しています。 ウ:誤りです。トークン数と文字数は一致しません。日本語は文字数に対してトークン数が多くなる傾向があります。 エ:誤りです。モデルには扱える最大トークン数(コンテキストウィンドウ)の上限があり、それを超えた入力は受け付けられないか切り捨てられます。

大規模言語モデル(LLM)におけるテキストの処理単位である「トークン(Token)」に関する記述として、最も適切なものを1つ選択してください。

出典生成AIパスポートオリジナル模擬試験
ア
LLMにおけるトークンとは、いかなる自然言語であっても必ず「文字1文字」または「単語1単語」と完全に1対1で一致する不可分の最小単位として定義されている。
イ
LLMがテキストを処理する計算単位であり、単語と文字の中間に位置する「サブワード(Byte-Pair Encodingなど)」単位で分割されることが多く、日本語は英語と比較して同一意味の文章でもトークン数が多く消費されやすい。
ウ
トークン数は文章の文字数と常に数学的に完全一致するため、英語で100文字のプロンプトと日本語で100文字のプロンプトは、モデル内部で常に全く同数のトークンとして扱われる。
エ
プロンプトに入力できるトークン数の上限を超過した場合であっても、モデルは自動的に過去のコンテキストをすべて永続メモリに保持したまま、一切の劣化なく推論を継続できる。