Работа с неточной (неправильного) набора данных

Question

Это мое описание проблемы:.

«По данным обследования по доходам домохозяйств и благосостояния, мы должны выяснить, верхние 10% домохозяйств с наиболее доходов и расходов, однако , мы знаем, что эти собранные данные ненадежны из-за многих искажений. Несмотря на эти искажения, у нас есть некоторые функции в наборе данных, которые, безусловно, надежны. Но эти определенные функции - лишь небольшая часть информации для каждого домашнего богатства ».

Ненадежные данные означают, что домохозяйства лгут правительству. Эти домохозяйства неправильно истолковывают свои доходы и богатства, чтобы несправедливо получить больше государственных услуг. Поэтому эти мошеннические заявления в исходных данных приведут к неправильным результатам и шаблонам.

Теперь у меня есть ниже вопросы:

• Как мы должны иметь дело с ненадежными данными в науке данных?
• Есть ли способ выяснить эти искажения, а затем сообщить лучшие 10% богатых людей с лучшей точностью, используя алгоритмы машинного обучения? -Как мы можем оценить наши ошибки в этом исследовании? Поскольку у нас есть немеченый набор данных, я должен искать методы маркировки? Или я должен использовать неконтролируемые методы? Или я должен работать с полуконтролируемыми методами обучения?
• Есть ли какая-либо идея или приложение в Machine Learning, которое пытается улучшить качество собранных данных?

Просьба представить мне любые идеи или рекомендации, которые могут помочь мне в этом вопросе.

Заранее спасибо.

Answer 1

Q: Как мы должны иметь дело с ненадежными данными в науке данных

A: Используйте функцию инженерии, чтобы исправить недостоверные данные (сделать некоторые преобразования на ненадежных данных, чтобы сделать его надежным) или падение их полностью - плохие черт могли значительно снизить качество модели

Вопрос: Есть ли способ выяснить эти ошибки, а затем сообщить лучшие 10% богатых людей с лучшей точностью, используя алгоритмы машинного обучения?

A: Алгоритмы ML - это не волшебные палочки, они ничего не могут понять, если вы не скажете им, что вы ищете. Можете ли вы описать, что означает «ненадежный»? Если да, вы можете, как я уже упоминал, использовать конструкторские возможности или написать код, который будет фиксировать данные. В противном случае алгоритм ML не сможет вам помочь, без описания того, что именно вы хотите достичь.

Вопрос: Есть ли какие-либо идеи или приложения в Machine Learning, которые пытаются улучшить качество собранных данных?

A: Я так не думаю, потому что сам вопрос слишком открытый. Что означает «качество данных»?

Вообще, вот несколько вещей, которые для вас рассмотреть:

1) Потратьте некоторое время на прибегая к помощи особенность инженерных руководств. Они рассказывают о том, как подготовить ваши данные для вас алгоритмы ML, уточнить их, исправить. Хорошие данные с хорошими функциями значительно увеличивают результаты.

2) Вам не нужно использовать все функции из исходных данных. Некоторые из особенностей исходного набора данных бессмысленны, и вам не нужно их использовать. Попробуйте запустить ускоритель градиента или случайный классификатор леса из scikit-learn на вашем наборе данных для выполнения классификации (или регрессии, если вы выполняете регрессию). Эти алгоритмы также оценивают важность каждой функции исходного набора данных. Часть ваших функций будет иметь крайне низкое значение для классификации, поэтому вы можете полностью отказаться от них или попытаться объединить неважные функции вместе, чтобы как-то сделать что-то более важное.