字句解析

字句解析は、ソースプログラムの文字列を左から読み、予約語、識別子、数値、演算子、区切り記号等の意味ある最小単位であるトークンへ分割するコンパイラ工程です。

■ 試験で押さえるポイント

• 各トークンは種別と属性値を持ち、例えば変数名totalは識別子トークンと文字列total、123は整数トークンと値123になります。

• 空白・コメントを除去し、最長一致や予約語表を用いて、同じ文字から始まる演算子や識別子を正しく切り分けます。

• トークンパターンは正規表現、認識器は有限オートマトンで実装でき、識別不能な文字列では字句エラーを報告します。

• 字句解析は文字列をトークン化し、次の構文解析が文法に従う並びかを調べます。型や宣言の整合性は意味解析の役割です。

■ 選択肢での判断ポイント

文字列→トークン列の工程です。予約語・識別子・定数の切分けを行い、構文木作成や型検査とは区別します。

例: 式「sum=10+2;」は、識別子sum、代入演算子=、整数10、加算演算子+、整数2、区切り;というトークン列になります。