Хорошо или необходимо использовать Blob при запуске алгоритмов машинного обучения с большими данными

Question

Я знаю, что я могу загрузить мои файлы данных в azure ml (как новые наборы данных), или я могу использовать Blobs (и читать данные в эксперименте ML). Интересно, рекомендуется ли, в частности, один из них при подготовке моделей машинного обучения и создании решений ML для прогнозирования.

Моя цель использования Azure - скопировать пользователей на основе различных функций. У меня большой набор данных (~ 50 ГБ). Интересно, есть ли у вас какие-либо рекомендации.

Я ценю любую помощь!

Answer 1

Как указано в Azure Machine Learning Frequently Asked Questions: «Для наборов данных размером более нескольких ГБ вы должны загружать данные в Azure Storage или базу данных Azure SQL или использовать HDInsight, а не напрямую загружать из локального файла».

Также обратите внимание на максимальные размеры наборов данных для модулей в Machine Learning Studio. Эти ограничения перечислены как часть тех же часто задаваемых вопросов, которые были связаны выше.