2013-03-07 8 views
2

При работе с Scalding у вас есть возможность предоставить функцию. Мне было интересно, как ошпаривание передает эти функции удаленной карте/сокращению задач? Это что-то использует в scala или что-то общее, что можно сделать с анонимными объектами?Как ошпаривание передаёт пользовательские функции удаленным узлам MapReduce

ответ

1

Он использует Cascading, java-библиотеку на Apache Hadoop.

+0

Как каскадные пропускают анонимные объекты для отображения/уменьшения задач? Я знаю, как это сделать, если задание задано классом и создать его самостоятельно, но с анонимным объектом это не так ясно. – ekaqu

3

Это простая старая Java-сериализация, которая выполняется с помощью Cascading.

+1

Спасибо. Думал об этом, но не был уверен. – ekaqu