Улучшение производительности предсказания SVC на отдельных образцах

Question

У меня есть модели большого размера SVC (~ 50Mb cPickles) для классификации текста, и я использую различные способы использования их в производственной среде. Классификация партий документов работает очень хорошо (около 1 тыс. Документов в минуту с использованием как predict, так и predict_proba). Однако прогноз на одном документе, другая история, как описано в комментарии к this question:

Вы делаете прогнозы в пакетном режиме? Метод SVC.predict, к сожалению, несет много накладных расходов, потому что он должен восстановить структуру данных LibSVM, аналогичную той, которую подготовил алгоритм обучения, мелкой копии в векторах поддержки и преобразовать тестовые образцы в формат LibSVM, который может отличаться от форматов NumPy/SciPy. Поэтому прогнозирование на одном образце должно быть медленным. - larsmans

Я уже обслуживаю модель SVC как Flask веб-приложения, так что часть накладных расходов исчезла (unpickling), но времена предсказания для одиночных документов все еще находятся на высокой стороне (0.25s). Я просмотрел код в методах predict, но не могу понять, есть ли способ «предварительно разогревать» их, заранее перестраивая структуру данных LibSVM при запуске сервера ... любые идеи?

def predict(self, X): 
    """Perform classification on samples in X. 

    For an one-class model, +1 or -1 is returned. 

    Parameters 
    ---------- 
    X : {array-like, sparse matrix}, shape = [n_samples, n_features] 

    Returns 
    ------- 
    y_pred : array, shape = [n_samples] 
     Class labels for samples in X. 
    """ 
    y = super(BaseSVC, self).predict(X) 
    return self.classes_.take(y.astype(np.int)) 

Answer 1

Я вижу три возможных решения.

Пользовательский сервер

Это не вопрос «потепления» ничего вверх. Просто - libSVM - это библиотека C, и вам нужно упаковать/распаковать данные в правильный формат. Этот процесс более эффективен для всех матриц, чем для каждой строки отдельно. Единственный способ преодолеть это - написать более эффективную оболочку между вашим производством env и libSVM (вы можете написать сервер на основе libsvm, который будет использовать какую-то общую память с вашей службой). К сожалению, это проблема, которая может быть разрешена существующими реализациями.

Порции

Наивный подход как буферные запросов вариант (если это система «высокая производительность» с тысячами запросов, вы можете просто хранить их в N-элементных партий, и направить их на libSVM в таких пакеты).

Собственная классификация

Наконец - классификация с использованием SVM действительно простая задача. Вам не нужно libSVM для выполнения классификации. Только обучение - сложная проблема.После того, как вы получите все векторы поддержки (SV_i), ядро ​​(K), lagragian мультипликаторов (alpha_i) и свободный член (б), вы классифицируете с помощью:

cl(x) = sgn(SUM_i y_i alpha_i K(SV_i, x) + b) 

Вы можете закодировать эту операцию непосредственно в приложении , без необходимости актуальной упаковки/распаковать/отправить что-нибудь в libsvm. Это может ускорить процесс на порядок. Очевидно, что вероятность более сложна для извлечения, поскольку она требует скейлинга Платта, но это все еще возможно.

Answer 2

Вы не можете заранее создать структуру данных LibSVM. Когда поступит запрос на классификацию документа, вы получите текст документа, сделайте вектор из того и только тогда, чтобы преобразовать его в формат LibSVM, чтобы вы могли принять решение.

LinearSVC должен быть значительно быстрее, чем SVC с линейным ядром, так как он использует liblinear. Вы можете попробовать использовать другой классификатор, если это не слишком сильно снижает производительность.