Политика хранения данных в Data Lake

Question

Я новичок в этом мире Azure Data Lake, поэтому ищу варианты планирования и соображения для данных озера. Я нашел хорошую ссылку для этого и нашел тихую пользу. http://www.sqlchick.com/entries/2016/7/31/data-lake-use-cases-and-planning

прямо сейчас, одна вещь, о которой я не уверен, - это политика хранения данных в Data Lake. Некоторые люди говорят, что данные нельзя удалять/удалять из озера данных, а у немногих - совсем другое мнение.

Итак, существуют ли какие-либо конкретные и основополагающие соображения, которые нам необходимо соблюдать для политик хранения данных (архивирование, очистка) с помощью любого озера данных ?. Я понимаю, что в этом отношении решающим фактором будет выбор вариантов использования, но есть ли какие-то соображения высокого уровня, которые необходимо сделать, прежде чем принимать решение по этому вопросу, - это мой вопрос.

спасибо,

Answer 1

Я думаю, что ваши основные факторы:

1. Есть ли юридическое обязательство истекают данные?
2. Есть ли причина по причине истечения срока действия данных?
3. Есть ли коэффициент статичности, когда вы больше не заботитесь о старых данных (и готовы ли вы быть ошибочными в будущем)?

Answer 2

Цены также может быть фактором:

10TB на Azure Data Lake Store - $ 390/месяц

10TB на Azure Blob Storage - $ 152/месяц

Что касается вопросов, связанных с фрагментация с удалением, похожая на хранилище данных РСУБД, я не знаю ни о каком.

Melissa Coates проделала отличную работу в этой статье с октября прошлого года. Спасибо, что поделились этим.