Ошибка с CalibratedClassifierCV при использовании трубопровода с TF-IDF?

Question

Прежде всего, спасибо заранее, я не знаю, должен ли я открыть проблему, поэтому я хотел проверить, не сталкивался ли кто-то с этим раньше.

Так у меня следующая проблема при использовании CalibratedClassifierCV для классификации текста. У меня есть оценщик, который является трубопровода создал этот путь (простой пример):

# Import libraries first 
import numpy as np 
from sklearn.feature_extraction.text import TfidfVectorizer 
from sklearn.pipeline import make_pipeline 
from sklearn.calibration import CalibratedClassifierCV 
from sklearn.linear_model import LogisticRegression 

# Now create the estimators: pipeline -> calibratedclassifier(pipeline) 
pipeline = make_pipeline(TfidfVectorizer(), LogisticRegression()) 
calibrated_pipeline = CalibratedClassifierCV(pipeline, cv=2) 

Теперь мы можем создать простой поезд набор, чтобы проверить, если классификатор работ:

# Create text and labels arrays 
text_array = np.array(['Why', 'is', 'this', 'happening']) 
outputs = np.array([0,1,0,1]) 

Когда Я стараюсь, чтобы соответствовать объекту calibrated_pipeline, я получаю эту ошибку:

ValueError: Found input variables with inconsistent numbers of samples: [1, 4]

Если вы хотите, я могу полицейский y весь след исключения, но это должно быть легко воспроизводимым. Заранее большое спасибо!

EDIT: Я допустил ошибку при создании массивов. Исправлено (Спасибо @ogrisel!) Кроме того, вызов:

pipeline.fit(text_array, outputs) 

работает правильно, но при этом с калиброванным классификатор не может!

Answer 1

np.array(['Why', 'is', 'this', 'happening']).reshape(-1,1) является 2D массив строк в то время как docstring of the fit_transform method of the TfidfVectorizer class утверждает, что он ожидает:

Parameters 
    ---------- 
    raw_documents : iterable 
     an iterable which yields either str, unicode or file objects 

Если перебрать массиве 2D Numpy вы получите последовательность 1D массивов строк вместо строк непосредственно:

>>> list(text_array) 
[array(['Why'], 
     dtype='<U9'), array(['is'], 
     dtype='<U9'), array(['this'], 
     dtype='<U9'), array(['happening'], 
     dtype='<U9')] 

Так исправить легко, просто передать:

text_documents = ['Why', 'is', 'this', 'happening'] 

как исходный вход в векторизатор.

Редактировать: примечание: LogisticRegression - это почти всегда калиброванный классификатор по умолчанию. Вероятно, в этом случае CalibratedClassifierCV ничего не принесет.