Flatch пакетная обработка данных

Question

Я оцениваю Flink для некоторых пакетов обработки данных. Как простой пример, у меня есть 2000 точек, которые я бы хотел пройти через FIR-фильтр, используя функциональность, предоставляемую scipy. Scipy filter - простая функция, которая принимает набор коэффициентов и данные для фильтрации и возврата данных. Возможно ли создать преобразование для обработки этого во Flink? Кажется, что преобразования Flink применяются на основе точки за точкой, но я могу что-то упустить.

Answer 1

Это, безусловно, возможно. У Flink уже есть Python API (beta), который вы, возможно, захотите использовать.

О вашем втором вопросе: Флинк может применять функцию по пунктам и также может делать другие вещи. Это зависит от того, какую функцию вы определяете. Например, filter, project, map, flatMap прилагаются к записи; max, min, reduce и т. Д. Применяются к группе записей (группы определены через groupBy). Существует также возможность объединения данных из разных наборов данных с использованием join, cross или cogroup. Пожалуйста, ознакомьтесь с перечнем доступных преобразований в документации: https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html