Обработка инкрементных данных - Hadoop

Question

У нас было 5 лет данных в кластере, и мы ежедневно загружаем данные. Данные, которые ежедневно добавляются, могут содержать повторяющиеся данные, частично измененные данные и т. Д.

1. Как обращаться с дублирующимися данными - следует обрабатывать как часть высокоуровневых программных интерфейсов свиньи, улья и т. Д. Или любых других альтернатив.

2. Скажите, есть ли указ, чтобы узнать, что изменилось между двумя записями, заданными ключом, чтобы узнать строку.

Каков наилучший способ моделирования данных с использованием компонентов системы eco system.

Answer 1

Как обрабатывать повторяющиеся данные

Это очень трудно удалить дубликаты из HDFS необработанных данных, поэтому я думаю, ваш подход является правильным: удалить с помощью pig или hive при загрузке этих данных.

Скажите, есть ли указ, чтобы узнать, что изменилось между двумя записями, заданными ключом, чтобы узнать строку.

В этом случае вы имеете в виду, что две записи имеют один и тот же ключ?

Тогда какие изменения вы хотите захватить?

Answer 2

Когда вы говорите, что вам нужно удалить дубликаты, а также дельта между двумя записями, когда вы знаете ключ, у вас должны быть некоторые критерии, из которых данные должны быть удалены в случае частичных измененных данных.

В обоих сценариях вы можете иметь ручку ключа и логику записи для удаления дубликатов. Карта уменьшает, кажется, хороший выбор, учитывая параллелизм, производительность и возможность управления на основе ключей. В основном ваши требования могут быть обработаны в редукторе

Answer 3

Посмотрите, подходит ли Sqoop-merge для вашего прецедента.

Из документа: Инструмент объединения позволяет объединить два набора данных, где записи в одном наборе данных должны перезаписывать записи более старого набора данных. Например, инкрементный импорт в режиме с последним изменением генерирует несколько наборов данных в формате HDFS, где в каждом наборе данных появляются последовательно новые данные. Инструмент слияния «сгладит» два набора данных в один, используя новейшие доступные записи для каждого первичного ключа.