cascading

18зной

3ответ

Какова самая зрелая библиотека для построения конвейера аналитики данных в Java/Scala для Hadoop?

Я нашел много вариантов в последнее время и интересен в своих сравнениях, прежде всего, зрелостью и стабильностью. Crunch - https://github.com/cloudera/crunch Scrunch - https://github.com/cloudera/cru

3зной

2ответ

Частичная агрегация против комбинаторов, которая быстрее?

Есть уведомление о том, как оптимизируется каскадное/ошпаривание map-side evaluation Они используют так называемую частичную агрегацию. Действительно ли это лучше подходит тогда Комбинаторам? Есть ли

2зной

1ответ

Hadoop «Стиль» - chunking vs тысячи (k, v) пар

Я работаю с большим количеством файлов, которые содержат матрицы данных, соответствующие сетке MODIS nasa - сетка разбивает поверхность земли на 21,600 х 43,200 пикселей. Этот конкретный набор данных

1зной

1ответ

Как выполнить операцию в scala с таймаутом?

Контекст: я хочу написать ошпаривание (hadoop) для обхода страниц, и я хочу установить таймаут при извлечении url (без тайм-аута на URLConnection, я хочу, чтобы общее решение для других случаев таймау

18зной

8ответ

Кто-нибудь найдет Cascading для Hadoop Map Уменьшите полезность?

Я пытался каскадировать, но я не вижу никакого преимущества по сравнению с классическим способом сокращения карты для написания заданий. Карта Сокращение рабочих мест дает мне больше свободы, и Cascad

1зной

2ответ

C++ Преобразование каскадного типа

Как получить преобразование типа для работы при каскадировании преобразований типов? Следующий код должен быть простым, но преобразование из TypeB в int требует, чтобы компилятор автоматически выводил

7зной

2ответ

Workflow tool comaparison: Oozie Vs Cascading

Я ищу инструмент рабочего процесса для запуска сложных сокращений по карте. Я имею Оози в виду, но также хочу исследовать Каскадирование. Есть ли какой-либо пример кода или пример, который связывает с