Выбор функции, когда данные меньше, разреженные и несбалансированные

Question

Есть ли способ выбрать функции, когда у меня есть меньше, разреженные и несбалансированные данные.

Около 90% образцов являются порядковыми и 10% являются численными.

Количество функций: 200 Количество образцов: около 1000

Answer 1

Да, можно сделать выбор функции для разреженных данных. Возможные подходы:

• х-2 выбор функции на основе
• RandomForestClassifier/RandomForestRegressor
• xgboost

Попробуйте сделать выбор функции в исходном наборе данных и в сбалансированном наборе данных с использованием методов передискретизации (таких как SMOTE) или недосэмплирования. SMOTE выступает за перепроизводство синтетического меньшинства. Существует специальный пакет для балансировки несбалансированных наборов данных в Python. Вы можете использовать этот пакет https://pypi.python.org/pypi/imbalanced-learn.

В области выбора функций предпочтительнее знать какие-либо знания домена, как предложено в статье this, посвященной выбору функции. Сравните значение функции на сбалансированных и исходных данных, чтобы сделать окончательный выбор функций.

Ссылки:

http://blog.kaggle.com/2016/07/21/approaching-almost-any-machine-learning-problem-abhishek-thakur/

http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/modules/generated/sklearn.feature_selection.chi2.html#sklearn.feature_selection.chi2

http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/modules/feature_selection.html

https://www.cs.cmu.edu/afs/cs/project/jair/pub/volume16/chawla02a-html/node6.html