bigdata

0зной

1ответ

Оформление результата SparkContext textFile отфильтрованных линий

Использование pyspark, мне нужно отфильтровать несколько файлов журнала ежедневного доступа службы SNS от пользователя nos. И затем, преффицируйте результат, группируя его пользователем. Вот часть пит

-1зной

1ответ

Можно ли разделить сжатый sql-файл с помощью команды split linux? Если нет, то любой другой метод?

У меня есть сжатый sql-файл на 30 ГБ (с расширением .sql.bz2), и если я разархивирую его, он станет 300 ГБ. Однако из-за проблемы с дисковым пространством я не могу сделать то же самое. Могу ли я разб

-1зной

1ответ

Как читать значения из двух csv и выполнять операцию на ч/б столбце в искровом java api?

У меня есть два Csv в hadoop, скажем csv1, csv2. Оба csvs содержат два столбца (временная метка и некоторое значение), например, для столбцов csv1: t1, v1, а для столбцов csv2 - t2, v2. Я хочу рассчит

0зной

1ответ

Как подключить компонент в Spark, когда данные слишком велики

При работе с компонентом, соединяющим большие данные, мне очень сложно слить их в искру. Структура данных в моих исследованиях может быть упрощена до RDD[Array[Int]]. Например: RDD[Array(1,2,3), Array

2зной

3ответ

Как увеличить производительность данных?

Я новичок в этой концепции и все еще учась. Я имею в общей сложности 10 ТБ json-файлов в AWS S3, 4 экземпляра (m3.xlarge) в AWS EC2 (1 мастер, 3 сотрудника). В настоящее время я использую искру с pyth

1зной

1ответ

Является ли стоимость, возникшая при разбиении таблиц даты в BigQuery?

BigQuery цитирует эту команду для создания раздела из существующих таблиц: bq partition mydataset.sharded_ mydataset.partitioned (см partitioned tables) Но когда я запускаю это, я вижу, что данные н

0зной

1ответ

Программа Spark для мониторинга производительности исполнителей

Я работаю над программой искры, которая контролирует производительность каждого исполнителя, например, помечает, когда один исполнитель начинает работать и когда он заканчивает работу. Я думаю, что эт

3зной

2ответ

Заказ по дате В Кассандре

У меня проблема с данными для заказа в cassandraБаза данных. это моя структура таблицы: CREATE TABLE posts ( id uuid, created_at timestamp, comment_enabled boolean, content text,

3зной

2ответ

Как преобразовать приведенный ниже набор кортежей в форматированный json с помощью свиньи?

У меня есть сумка для свиньи с двумя кортежами. {(1,'Kumar','23000','Kandy')} {(2,'Mahela','34000','Colombo')} Как я могу преобразовать вышеуказанное в следующий формат значения ключа json с помощь