Azure Spark SQL vs U-SQL

Question

У меня есть много файлов данных, которые в конечном итоге будут помещены и сохранены в Azure Storage/Data Lake в течение определенного промежутка времени. Я хочу, чтобы предоставить возможность делать аналитику по этим данным, но я вижу, что на Лазурном есть два подхода:

1. U-SQL/Лазурное озеро данных запроса (Визуализация ???)
2. Спарк SQL с помощью Spark on Azure и Zeppelin

Может кто-нибудь подскажет мне, когда использовать этот подход? мне кажется, что оба могут выполнять аналогичную работу.

Answer 1

Вы можете думать о U-SQL как о версии SQL Spark SQL, где вы можете писать SQL Server в стиле SQL и расширять пользовательские функции на C#. В то время как Spark вы пишете в SQL-стиле Semi MySQL и расширяете его с помощью Scala или Python.

Если вы знакомы с Scala или Python, то выбор HDInsight может быть лучшим выбором. Spark поставляется с GraphX ​​и MLLib, которые на данный момент не имеют аналогов в Data Lake Analytics. Кроме того, если вам нужно что-то, что работает за пределами Azure, то SparkSQL - ваш единственный вариант.

Другим важным аспектом, о котором стоит подумать, является ценообразование. Data Lake Analytics стоит только денег, пока выполняется ваш запрос, но HDInsight стоит денег до тех пор, пока работает кластер. В зависимости от размера данных и сложности ваших запросов Data Lake Analytics может быть дешевле, потому что вы не платите за это время.