Масштабируемый классификатор для поиска отсутствующих атрибутов

Question

У меня есть большая разреженная матрица, представляющая атрибуты для миллионов объектов. Например, одна запись, представляющая объект, может иметь атрибуты «имеет (мех)», «имеет (хвост)», «makeSound (мяу)» и «is (cat)».

Однако эти данные являются неполными. Например, другой объект может иметь все атрибуты типичного объекта «is (cat)», но может отсутствовать атрибут «is (cat)». В этом случае я хочу определить вероятность того, что этот объект должен иметь атрибут «is (cat)».

Таким образом, проблема, которую я пытаюсь решить, - определить, какие отсутствующие атрибуты должны содержать все сущности. Учитывая произвольную запись, я хочу найти верхние N наиболее вероятных атрибутов, которые отсутствуют, но должны быть включены. Я не уверен, что такое формальное имя для такого типа проблем, поэтому я не уверен, что искать при исследовании текущих решений. Существует ли масштабируемое решение для этого типа проблемы?

Прежде всего, мы просто вычислим условную вероятность для каждого отсутствующего атрибута (например, P (is (cat) | имеет (мех) и имеет (хвост) и ...)), но это похоже на очень медленный подход , Плюс, поскольку я понимаю традиционный расчет условной вероятности, я предполагаю, что столкнулся с проблемами, когда моя сущность содержит несколько необычных атрибутов, которые не являются общими для других, - это (cat) сущности, в результате чего условная вероятность равна нулю.

Моя вторая идея - подготовить классификатор Maximum Entropy для каждого атрибута, а затем оценить его на основе текущих атрибутов сущности. Я думаю, что вычисление вероятности будет гораздо более гибким, но это все равно будет иметь проблемы с масштабируемостью, так как мне придется обучать отдельные классификаторы для потенциально миллионов атрибутов. Кроме того, если бы я хотел найти верхние N наиболее вероятных атрибутов для включения, мне все равно придется оценивать все классификаторы, которые, вероятно, будут навсегда.

Есть ли лучшие решения?

Answer 1

Это звучит как типичный рекомендация проблема. Для каждого атрибута используйте слово «рейтинг фильма», и для каждой строки используйте слово «человек». Для каждого человека вы хотите найти фильмы, которые им, вероятно, понравятся, но еще не оценены.

Вы должны посмотреть на некоторые из наиболее успешных подходов к Netflix Challenge. Набор данных довольно большой, поэтому эффективность является высокоприоритетной. Хорошим местом для начала может стать бумага 'Matrix Factorization Techniques for Recommender Systems'.

Answer 2

Если у вас большой набор данных, и вы беспокоитесь о масштабируемости, я бы посмотрел на Apache Mahout. Mahout библиотека машинного обучения и интеллектуального анализа данных, которые могли бы помочь вам с вашим проектом, в частности, они имеют некоторые из наиболее известных алгоритмов уже встроенных в:

• Collaborative Filtering
• пользователя и товара на основе рекомендателей
• K-Средства, Нечеткий K-средства кластеризации
• среднего сдвига кластеризация
• процесс Дирихле кластеризация
• Скрытое распределение Дирихле
• сингулярного разложения
• Parallel Частое Узор горнодобывающие
• Дополнительной наивный байесовский классификатор
• Случайные лесных деревьев решения на основе классификаторов
• Высокоэффективные коллекции Java (ранее жеребенок коллекции)