apache-flink

3зной

2ответ

Как декодировать сообщения Kafka с использованием Avro и Flink

Я пытаюсь читать AVRO данные из темы Kafka с помощью Flink 1.0.3. Я просто знаю, что эта тема Kafka имеет кодированное AVRO сообщение, и у меня есть файл схемы AVRO. My Flink code: public static void

1зной

1ответ

Операция разностного/вычитания DataSet Apache Flink

В настоящее время я пытаюсь реализовать некоторые алгоритмы как в Apache Spark, так и в Apache Flink. При выполнении алгоритмов я должен выполнять какие-то операции разностного/вычитания. Несмотря на

1зной

1ответ

Apache Flink + CEP - Обнаруживать те же события

Я хотел бы обнаружить события, которые имеют одно и то же свойство. Предположим, у меня есть простой класс случай: case class Record(name: String, value: Int) Предположим, имеется следующий поток: R

3зной

1ответ

Преобразование Flink, которое выполняет вызов REST (async, Future, Netty)

Предположим, что Flink получает поток из 1000 твитов в секунду и что где-то в процессе, ему нужно классифицировать их как спам или нет. У меня есть группа, например. 20 машин, которые обеспечивают «кл

0зной

1ответ

Использование библиотек JNI в кластере flink

Мне нужно использовать библиотеки JNI для запуска баннера в flink cluster. Может ли кто-нибудь мне посоветовать, как это сделать? Если он должен быть предоставлен с использованием аргументов VM, то ка

3зной

1ответ

Flink не может сериализовать классы scala/Task Not Serializable

У меня есть класс scala, имеющий 2 поля: vals, но flink говорит, что у него нет сеттеров. Таким образом, задача не сериализуема. Я попробовал сеттеры, используя var, но затем он говорит о дублировании

9зной

1ответ

Как искать и обновлять состояние записи из базы данных в Apache Flink?

Я работаю над приложением для потоковой передачи данных, и я изучаю возможность использования Apache Flink для этого проекта. Основной причиной этого является то, что он поддерживает хорошие потоковые

1зной

1ответ

Как получить подтверждение после производства в раковине кафки, т. Е. С использованием FlinkKafkaProducer09

stream.addSink(new FlinkKafkaProducer09<String>("Topic-name", new SimpleStringSchema(), properties)); Есть ли какой-либо обратный вызов или по завершении для FlinkkafkaProducer?