PLY lexer для чисел всегда возвращает double

Question

У меня возникли проблемы с lex с int и double, используя следующую программу. DOUBLE_VAL возвращается для 1, тогда как я ожидал INT_VAL. При изменении порядка функций INT_VAL и DOUBLE_VAL, я получаю ошибку в десятичной точке. Как я могу их решить?

tokens = (
'VERSION', 
'ID', 
'INT_VAL', 
'DOUBLE_VAL' 
) 

t_ignore = ' \t' 
def t_VERSION(t): 
    r'VERSION' 
    return t 

def t_DOUBLE_VAL(t): 
    '[-+]?[0-9]+(\.[0-9]+)?([eE][-+]?[0-9]+)?' 
    return t 

def t_INT_VAL(t): 
    r'[-+]?[0-9]+' 
    return t 

def t_ID(t): 
    r'[a-zA-Z_]([_a-zA-Z0-9]*[a-zA-Z0-9])?' 
    return t 

def t_error(t): 
    print "Error: ", t 
    #exit(-1) 

import ply.lex as lex 
lexer = lex.lex() 
lexer.input('VERSION 1 4.0') 
while True: 
    tok = lexer.token() 
    if not tok: break 
    print tok 

Answer 1

Ваша грамматика соответствует целым числам с t_DOUBLE_VAL. Выражение Изменение t_DOUBLE_VAL «s, чтобы соответствовать только если десятичная точка присутствует:

def t_DOUBLE_VAL(t): 
    '[-+]?[0-9]+(\.([0-9]+)?([eE][-+]?[0-9]+)?|[eE][-+]?[0-9]+)' 
    return t