databricks

4зной

1ответ

Я работаю Spark на автономном кластере, и я заметил, что когда-то GC начинает длиться долго, и красный страшный цвет начинает показывать. Вот доступные ресурсы: Cores in use: 80 Total, 76 Used Memory

1зной

1ответ

Как преобразовать тип столбца из str в дату, когда str имеет формат dd/mm/yyyy?

У меня есть большая таблица в sql, которую я импортировал из большого файла csv. Столбец распознается как str, когда он содержит информацию о дате формата dd/mm/yyyy. Я пробовал select TO_DATE('12/31/

0зной

1ответ

Как преобразовать таблицу sql в структуру данных pyspark/python и вернуться обратно к sql в databricks notebook

Я запускаю sql-блокнот на databricks. Я бы хотел проанализировать таблицу с полмиллиарда записей в ней. Я могу запускать простые sql-запросы по данным. Однако мне нужно изменить тип столбца даты с str

6зной

1ответ

Как я могу преобразовать pyspark.sql.dataframe.DataFrame обратно в таблицу SQL в databricks ноутбук

Я создал dataframe типа pyspark.sql.dataframe.DataFrame, выполнив следующую строку: dataframe = sqlContext.sql("select * from my_data_table") Как я могу преобразовать это обратно в sparksql, на которы

1зной

1ответ

Анализ даты и времени от ISO 8601 с использованием Spark SQL

Хотите сделать this, но наоборот. Мои date s в этом формате YYYY-MM-DDThh:mm:ss, я хочу две колонки YYYY-MM-DD и hh:mm что я могу Concat, если я хочу, для некоторых запросов. Я получаю с ошибкой при и

0зной

1ответ

Запись Spark RDD в виде текстового файла в ведро S3

Я пытаюсь сохранить Spark RDD в виде текстового файла с gzipped (или нескольких текстовых файлов) в ведро S3. Ведро S3 установлено на dbfs. Я пытаюсь сохранить файл, используя следующее: rddDataset.sa