Как получить отчет об использовании hdfs в деталях

Question

У нас есть hdfs емкостью 900 ТБ. Поскольку хранящиеся данные постоянно растут, трудно отслеживать, что полезно и что можно удалить. Я хочу проанализировать использование hdfs для следующего шаблона, чтобы можно было оптимально использовать емкость.

1. Каковы часто используемые данные.
2. Данные не касаются/недоступны в течение длительного времени (Возможный кандидат для удаления)
3. Распространение данных пользователями.
4. Активные пользователи.

Answer 1

Вы можете получить эти данные из:

• (1) журнал HDFS аудита (модели доступа на пользователя/IP)
• (2) fsimage (время доступа на файл, данные не доступны)

(1) У вас есть журнал аудита HDFS? Подробнее here.

(2) Для того, чтобы начать с fsimage чтения this - есть пример, чтобы получить «Данные не трогают/доступ в течение долгого времени»

Вы также можете захотеть рассмотреть HAR архивировать данные (вместо удаления) - таким образом уменьшите использование памяти и драгоценную память на наменоводе.