apache-beam

0зной

2ответ

AssertionError: утверждение не выполнено: copyAndReset должен вернуть копию нулевого значения

Когда я применил ParDo.of(new ParDoFn()) к PCollection по имени textInput, программа выбрасывает это исключение. Но программа нормальная, когда я удаляю .apply(ParDo.of(new ParDoFn())). // SparkRunner

2зной

1ответ

Загрузка данных в Biqquery Разделенная таблица через Google Dataflow/Beam с помощью write_truncate

Итак, существующая настройка, которую мы использовали для создания новой таблицы за каждый день, которая отлично работала с опцией "WRITE_TRUNCATE", однако, когда мы обновляем наш код, чтобы использов

0зной

1ответ

Использование MySQL в качестве источника ввода и записи в Google BigQuery

У меня есть задача Apache Beam, которая читает из источника MySQL с использованием JDBC, и она должна записывать данные так же, как и в таблицу BigQuery. На данный момент никаких преобразований не про

2зной

1ответ

Ошибка определения входного сигнала на стороне Apache Beach

Я все еще новичок в потоке данных Apache Beam/Cloud, поэтому прошу прощения, если мое понимание неверно. Я пытаюсь прочитать файл данных длиной ~ 30 000 строк по конвейеру. Мой простой конвейер сначал

1зной

1ответ

Google DataFlow & Reading Parquet файлы

Пытается использовать Google DataFlow Java SDK, но для моих учетных записей мои входные файлы являются .parquet файлами. Не удалось найти какие-либо функциональные возможности для чтения паркета в кон

0зной

1ответ

Работа с данными о потоке данных не сработала без причины

У меня есть задание Data Cloud Data Google, которое должно выполняться с использованием API Apache Beam (0.4.0). Конвейер успешно работает с использованием локального бегуна. Когда я отправляю задание