2010-06-25 5 views
3

Я работаю над потоковым потоком Hadoop для Amazon Elastic Map. Уменьшает и включает сериализацию некоторых двоичных объектов и потоковую передачу их в Hadoop. У Hadoop максимальная длина линии для потокового ввода?Hadoop потоковая максимальная длина линии

Я начал просто проверять с большими и большими строками, но решил, что я попрошу здесь сначала.

+0

Что такое "AMZN EMR"? Кроме того, я не знаю никаких ограничений относительно длины линии. – wlk

+0

AMZN EMR == Amazon Elastic Map Сократить, услуга Hadoop по требованию. Я отредактирую сообщение. Благодаря! –

ответ

4

Похоже, что ограничений на длину линии не существует. Поскольку я задавал вопрос, я пишу код, который сериализует двоичные объекты, кодирует их в base64, а затем помещает их в поток для обработки. В результате некоторые из строк довольно длинные. Хэдооп жевал прямо без жалоб.