Более быстрый способ предоставления прав доступа к ADLS для обеспечения кластеризации HDInsight?

Question

У меня есть Azure Data Lake Store (ADLS), содержащий файлы ~ 100k, которые мне нужны для доступа из кластера HDInsight для анализа. Когда я предоставляю кластер через Azure Portal, я использую эти ADLS для хранения кластера и назначаю rwx-привилегии для всех файлов в ADLS с помощью принципала службы + функции «Доступ к хранилищу данных». Кажется, эта функция предоставляет доступ к каждому файлу по одному, со скоростью около 2 тыс. В минуту: для предоставления разрешений требуется час.

Есть ли более быстрый способ предоставить новые привилегии кластера rwx в связанных ADLS?

Answer 1

Да, есть лучший способ получить все это. Вам необходимо в однократном порядке добавлять разрешения для группы Azure Active Directory ко всем вашим файлам и папкам. После того, как это настроено, всякий раз, когда вы создаете новый кластер HDInsight, основной участник службы просто должен быть включен в группу.

Итак, подведем итог:

1. Создать новый Azure Active Directory Group
2. Propagate разрешения в ваших ADLS счета в этой группе на соответствующие файлы и папки
3. Создать свой HDInsight кластер. При его создании выберите нужного руководителя службы .
4. Добавьте основную службу в группу, созданной в шаге 1

Надеется, что это помогает, и дайте мне знать, если у вас есть вопросы.