hdfs

3зной

1ответ

Вставка в устье против улей Нагрузка: что такое компромисс?

Я изучаю технологию Hadoop/Big data. Я хотел бы глотать данные навалом в улье. Я начал работать с простым CSV-файлом, и когда я попытался использовать команду INSERT для загрузки каждой записи по запи

1зной

2ответ

Bash script - для цикла и if-else

Я новичок в сценариях Bash и, несмотря на несколько попыток реорганизовать логическую структуру, показанную в псевдокоде ниже, я не могу заставить это работать. Как объединить логику if/else вместе с

0зной

2ответ

Демон Namenode не начинается правильно

Я только что начал изучать хаоп из книги Hadoop: окончательный путеводитель. Я выполнил учебное пособие по установке Hadoop в режиме псевдораспределения. Я включил логин без пароля до ssh. Прежде чем

1зной

2ответ

Трубопровод данных в Hadoop HDFS при копировании файлов в DataNodes

Я просто хотел получить более подробное описание ниже. Когда я попытался понять how the HDFS writes happens to Data nodes. Я получил ниже объяснение о записи HDFS. Почему клиент hdfs отправляет 4kb в

0зной

1ответ

Хранить и перебирать отсортированный файл hdfs/spark

Задача: У меня довольно большие входные файлы (допустим, 50 ГБ каждый) на hdfs. Мне нужно сортировать их, хранить где-нибудь (программа драйвера/hdfs/что-то еще?), А затем перебирать их до тех пор, по

6зной

1ответ

Apache Spark читать файл как поток из HDFS

Как я могу читать файл как поток из hdfs с помощью Apache Spark Java? Я не хочу читать весь файл, я хочу иметь поток файлов, чтобы остановить чтение файла при выполнении какого-либо условия, как я мог