Как вы превращаете неупорядоченную функцию Python/лямбда в AST? 2.6

Question

Кажется, что это должно быть легко, но я не могу найти ответ нигде - и не могу получить его сам. Как вы превращаете неупорядоченную функцию python/lambda в AST?

Вот что я хотел бы иметь.

import ast 
class Walker(ast.NodeVisitor): 
    pass 
    # ... 

# note, this doesnt work as ast.parse wants a string 
tree = ast.parse(lambda x,y: x+y) 

Walker().visit(tree) 

Answer 1

Если вы только получили доступ к функции/лямбда, у вас есть только скомпилированный байт-код python. Точный Python AST не может быть восстановлен из байт-кода, потому что в процессе компиляции есть потеря информации. Но вы можете проанализировать байт-код и создать для этого AST. В GeniuSQL есть один такой анализатор. У меня также есть небольшое доказательство концепции, в которой анализируется байт-код и создается классовые элементы SQLAlchemy.

Процесс я использовал для анализа заключается в следующем:

1. Split код в список кодов операций с потенциальными аргументами.
2. Найти базовые блоки в коде, пройдя коды операций, и для каждого прыжка создайте базовую границу блока после прыжка и до цели перехода
3. Создайте граф потока управления из базовых блоков.
4. Пройдите все базовые блоки с абстрактным стеком отслеживания интерпретации и переменными назначениями в форме SSA.
5. Чтобы создать выходное выражение, просто получите рассчитанное значение возврата SSA.

Я вставил свои proof of concept и example code using it. Это не очищает быстро взломанный код, но вы можете использовать его, если хотите. Оставьте заметку, если вы решите сделать что-то полезное.

Answer 2

Вашей лямбда-выражение является функцией, которая имеет много информации, но я не думаю, что до сих пор исходный код, связанный с. Я не уверен, что вы можете получить то, что хотите.

Answer 3

В общем, вы не можете. Например, 2 + 2 является выражением, но если вы передаете его какой-либо функции или методу, передаваемый аргумент - это просто номер 4, не способ восстановить то, из какого выражения он был вычислен. Исходный код функции иногда может быть восстановлен (хотя и не для lambda), но «выражение без кавычек Python» получает , оцененный, поэтому вы получаете только объект, который является значением выражения.

В чем проблема, которую вы пытаетесь решить? Могут быть и другие, жизнеспособные подходы.

Редактировать: tx to OP для уточнения. Там нет никакого способа сделать это для lambda или некоторых других случаев угловых, но, как я уже функция исходного кода иногда может быть восстановлен ...:

import ast 
import inspect 

def f(): 
    return 23 

tree = ast.parse(inspect.getsource(f)) 

print ast.dump(tree) 

inspect.getsource поднимает IOError, если он не может получить исходный код для любого объект, которым вы его передаете. Я предлагаю вам обернуть разбор и запрос источника в вспомогательную функцию, которая может принимать строку (и просто анализирует ее) ИЛИ функцию (и пытается получить источник на ней, возможно, давая лучшие ошибки в случае IOError).

Answer 4

Вы не можете генерировать AST из скомпилированного байт-кода. Вам нужен исходный код.

Answer 5

The Meta library позволяет восстановить источник во многих случаях, за некоторыми исключениями, такими как осмысления и лямбды.

import meta, ast 
source = ''' 
a = 1 
b = 2 
c = (a ** b) 
''' 

mod = ast.parse(source, '<nofile>', 'exec') 
code = compile(mod, '<nofile>', 'exec') 

mod2 = meta.decompile(code) 
source2 = meta.dump_python_source(mod2) 

assert source == source2