Проанализируйте выражение C с точки зрения лексического анализа

Question

Итак, я кодирую программу лексического анализатора (в PHP) в качестве домашней работы, и мне нужно tokenize программу C.

У меня есть этот следующий кусок кода из C кода я должен проанализировать: +e25.f12.e-- который затем разметить в OPERATOR => +, VARIABLE => e25 но пропускает .f12.e--, потому что она сигнализирует это как ошибку. Теперь я не уверен, что это правильное поведение, правильно ли работает алгоритм или он тоже должен его подделать (если это так, можете ли вы показать токенизацию .f12.e--?).

Например, следующий код должен разметить следующим образом:

Код:

xe,12.34e-25" ;;kjk 'a'"'"'/* dfh sfg fsg 
    sdgf sdf 






sdfvvs svd sdv 
*//*3rf 3rfg 3f 



e2f2efef*//*/*/*/ 

лексемизацию:

var => xe 
operator => , 
constant => 12.34e-25 
string => " ;;kjk 'a'" 
string => '"' 
operator => * 
operator =>/

Спасибо.

Answer 1

+e25.f12.e 

tokenises как:

+ operator 
e25 identifier 
. operator 
f12 identifier 
. operator 
e identifier