Python to cython - улучшает производительность для итераций по большим массивам

Question

У меня есть следующая функция, которая использует генератор для обработки больших массивов координат. Поскольку производительность действительно важна, я пытаюсь преобразовать ее в cython.

Есть ли другие изменения в реализации cython, которые могут повысить производительность? Может быть, как объявление массивов с использованием массивов cpython или еще?

geometry_converter.pyx: тест

def esriJson_to_CV(geometry, geometry_type): 
    def compress_geometry(coords): 
     cdef int previous_x, previous_y, current_x, current_y 
     iterator = iter(coords) 
     previous_x, previous_y = iterator.next() 
     yield previous_x 
     yield previous_y 
     for current_x, current_y in iterator: 
      yield previous_x - current_x 
      yield previous_y - current_y 
      previous_x, previous_y = current_x, current_y 

    if geometry_type == "POINT": 
     converted_geometry = [int(geometry["x"]), int(geometry["y"])] 
    elif geometry_type == "POLYLINE": 
     converted_geometry = [list(compress_geometry(path)) for path in geometry["paths"]] 
    elif geometry_type == "POLYGON": 
     converted_geometry = [list(compress_geometry(ring)) for ring in geometry["rings"]] 
    else: 
     raise Exception("geometry_converter.esriJSON_to_CV - {} geometry type not supported".format(geometry_type)) 

    return converted_geometry 

тест:

import time 
from functools import wraps 
import numpy as np 
import geometry_converter as gc 

def timethis(func): 
    ''' 
    Decorator that reports the execution time. 
    ''' 
    @wraps(func) 
    def wrapper(*args, **kwargs): 
     start = time.time() 
     result = func(*args, **kwargs) 
     end = time.time() 
     print(func.__name__, end-start) 
     return result 
    return wrapper 


def prepare_data(featCount, size): 
    """create numpy array with coords and fields""" 
    input = [] 
    for i in xrange(0, featCount): 
     polygon = {"rings" : []} 
     ys = np.random.uniform(0.0,89.0,size).tolist() 
     xs = np.random.uniform(-179.0,179.0,size).tolist() 
     polygon["rings"].append(zip(xs,ys)) 
     input.append(polygon) 
    return input 

@timethis 
def process_data(data): 
    output = [gc.esriJson_to_CV(x, "POLYGON") for x in data] 
    return output 


data = prepare_data(1000, 1000000) 
out = process_data(data) 
print(out[0][0][0:10]) 

Answer 1

Cython не магия. Рост производительности Cython в большинстве случаев не имеет смысла, если не использовать его статические типы.

Чтобы получить существенные преимущества в производительности, вы должны использовать объявления типа cython.

Например, вместо того, чтобы делать:

x = int() 

Вы бы:

cdef int x 

У вас есть полное описание того, как использовать их в cython documentation.