SKlearn SGD Partial Fit

Question

Что я здесь делаю неправильно? У меня есть большой набор данных, который я хочу, чтобы выполнить частичное прилегание на использовании Scikit учиться-х SGDClassifier

я делаю следующее

from sklearn.linear_model import SGDClassifier 
import pandas as pd 

chunksize = 5 
clf2 = SGDClassifier(loss='log', penalty="l2") 

for train_df in pd.read_csv("train.csv", chunksize=chunksize, iterator=True): 
    X = train_df[features_columns] 
    Y = train_df["clicked"] 
    clf2.partial_fit(X, Y) 

Я получаю ошибку

Traceback (most recent call last): File "/predict.py", line 48, in sys.exit(0 if main() else 1) File "/predict.py", line 44, in main predict() File "/predict.py", line 38, in predict clf2.partial_fit(X, Y) File "/Users/anaconda/lib/python3.5/site-packages/sklearn/linear_model/stochastic_gradient.py", line 512, in partial_fit coef_init=None, intercept_init=None) File "/Users/anaconda/lib/python3.5/site-packages/sklearn/linear_model/stochastic_gradient.py", line 349, in _partial_fit _check_partial_fit_first_call(self, classes) File "/Users/anaconda/lib/python3.5/site-packages/sklearn/utils/multiclass.py", line 297, in _check_partial_fit_first_call raise ValueError("classes must be passed on the first call " ValueError: classes must be passed on the first call to partial_fit.

Answer 1

Пожалуйста, обратите внимание что классификатор не знает количества классов в начале, поэтому для первого прохода вам нужно указать количество классов, используя np.unique (target), где target - столбец класса. Поскольку вы читаете данные в кусках, вам нужно убедиться, что ваш первый кусок имеет все возможные значения для метки класса, поэтому он работает! Таким образом, ваш код будет:

for train_df in pd.read_csv("train.csv", chunksize=chunksize, iterator=True): 
    X = train_df[features_columns] 
    Y = train_df["clicked"] 
    clf2.partial_fit(X, Y, classes=np.unique(Y)) 

Answer 2

http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier.partial_fit

clf2.partial_fit(X, Y, classes=np.unique(Y)) 

Предположим, что у вас нет достаточной записи класса и поэтому классификаторов значения нуждаются в общем количестве классов, которые должны быть классифицированы.