hadoop-partitioning

1зной

3ответ

Как уменьшить количество картографов, когда я запускаю запрос куста?

Я использую hive, У меня есть 24 файла json с общим размером 300 МБ (в одной папке), поэтому я создал одну внешнюю таблицу (т.е. таблицу1), и я загрузил данные (то есть 24 файла) Таблица. Когда я запу

3зной

1ответ

Partition Расположение RDD/Dataframe

У меня есть (довольно большой, думаю 10e7 Ряды) DataFrame, из которого я фильтровать элементы на основе некоторого свойства val res = data.filter(data(FieldNames.myValue) === 2).select(pk.name, FieldN

11зной

3ответ

Secondary Sort in Hadoop

Я работаю над проектом hadoop и после многих посещений различных блогов и чтения документации, я понял, что мне нужно использовать функцию вторичной сортировки, предоставляемую инфраструктурой hadoop.

2зной

1ответ

Hadoop фс сортировка -du-ч по размеру для М, G, T, P, E, Z, Y

Я бег этой команды - sudo -u hdfs hadoop fs -du -h /user | sort -nr и выход не сортируется в терминах концертов , терабайт, д.б. Я нашел эту команду - hdfs dfs -du -s /foo/bar/*tobedeleted | sort -r

0зной

1ответ

Перегородка Hadoop. Как вы эффективно разрабатываете таблицу Hive/Impala?

Как вы эффективно разрабатываете таблицу Hive/Impala с учетом следующих фактов? Таблица получает данные инструмента около 100 миллионов строк каждый день. Дата, в которую он получает данные, хранится

0зной

1ответ

hive hadoop: выбор данных из таблицы get error

после того, как я создал внешнюю таблицу в Hive, я хотел знать количество твитов, поэтому я написал следующий запрос, но я получил эту ошибку, пожалуйста, как решить эту проблему, и это конфигурация m

1зной

1ответ

Как правильно импортировать набор данных csv, используя схему разделов с помощью kite-dataset?

Я работаю с общедоступной Csv набора данных из MovieLens Я создал секционного набора данных для ratings.csv: kite-dataset create ratings --schema rating.avsc --partition-by year-month.json --format pa