google-cloud-dataflow

0зной

2ответ

Выходные данные отображаются в случайном порядке при загрузке в облачное хранилище Google

Я использую Google-dataflow-sdk для загрузки CSV-файлов в хранилище облачных хранилищ Google. Когда я загружаю файл в проект облака Google, мои данные отображаются в файле в произвольном порядке в обл

1зной

1ответ

Когда Dataflow подтверждает сообщение о пакетах из PubSubIO?

Был номер question on this topic, ответ сказал: «Подтверждение будет сделано после того, как сообщение будет долговечно сохранено где-то в конвейере потока данных». Концептуально это имеет смысл, но я

0зной

1ответ

PubSub установка ресурса стенает Dataflow работы при назначении timestampLabel

После изменения своей работы, чтобы начать использовать timestampLabel при чтении из PubSub, настройки ресурсов, кажется, разорвать каждый раз, когда я пытаюсь начать работу со следующей ошибкой: (c8b

0зной

1ответ

Почему DoFnTester не поддерживает выходные данные в finishBundle()?

У нас есть некоторые функции, которые обрабатывают элементы из пакета в партиях. Им нужно вывести последнюю партию в методе finishBundle(). Что-то вроде описанного в ответе this previous question. В п

0зной

1ответ

Top.smallestPerKey() не работает для сортировки timestamp

У меня есть прецедент, в котором PCollection содержит пары значений ключа, причем ключ является идентификатором пользователя, а значение является меткой времени, с которой пользователь взаимодействова

0зной

1ответ

Удалить таблицу bigquery после завершения всех шагов в задании потока данных

Есть ли способ удалить таблицу bigquery только после того, как все шаги в потоке пакетного потока данных преуспели?