Использует ли Microsoft Azure Machine Learning Hadoop в качестве базового слоя?

Question

Я собираюсь использовать Microsoft Azure ML для некоторых целей анализа текста, таких как извлечение ключевых слов, и по мере того, как размер моего ввода большой. Я хочу знать, действительно ли пакет ML фактически использует Hadoop (HDP) в качестве его базового слоя или нет? Если нет, как я могу использовать ML в сочетании с Hadoop?

Есть ли у Маху некоторые инструменты для анализа текста?

Answer 1

Microsoft Azure ML не использует hadoop. Он использует настраиваемый задний конец, который запускает каждый модуль эксперимента независимо (и параллельно, когда допускается DAG).

Azure ML - это не пакет, а студия дизайна для создания и внедрения ML-решений.

Каков размер вашего массива данных?

Azure ML в настоящее время поддерживает около 6 гигабайт данных для обучения.

Рекомендуется использовать hdinsight, если вам нужна предварительная обработка ваших данных. Это также хорошее место для извлечения ваших конкретных функций. Использование модуля выделения функций на выборке данных обучения может помочь определить ключевые столбцы.

Имея много данных, никогда не бывает плохо. Я рекомендую сбрасывать ваши данные на небольшие патроны, возможно, около 512-1 концертов. Определите свою точность с этим размером данных, затем увеличьте 2x или 3x до 6 концертов и посмотрите, какую точность вы получите.