sklearn FeatureHasher parallelized

Question

Экстрактор функции sklearn's Featurehasher имеет несколько преимуществ по сравнению с его встречной частью DictVectorizer, благодаря использованию хеширующего трюка.

Одно из преимуществ, которое кажется труднее выявить, - его способность работать параллельно.

Мой вопрос: как я могу легко сделать FeatureHasher работать параллельно?

Answer 1

Вы могли бы реализовать параллельную версию FeatureHasher.transform используя joblib (библиотеку Излюбленной scikit учиться для параллельной обработки):

from sklearn.externals.joblib import Parallel, delayed 
import numpy as np 
import scipy.sparse as sp 

def transform_parallel(self, X, n_jobs): 
    transform_splits = Parallel(n_jobs=n_jobs, backend="threading")(
     delayed(self.transform)(X_split) 
     for X_split in np.array_split(X, n_jobs)) 

    return sp.vstack(transform_splits) 

FeatureHasher.transform_parallel = transform_parallel 
f = FeatureHasher() 
f.transform_parallel(np.array([{'a':3,'b':2}]*10), n_jobs=5) 

<10x1048576 sparse matrix of type '<class 'numpy.float64'>' 
    with 20 stored elements in Compressed Sparse Row format>