Я пишу работу hadoop, которая сканирует страницы. Библиотека, которую я использую, использует файловую систему для хранения данных обхода при обходе. Я был уверен, что библиотека должна быть изменена для использования HDFS, так как для взаимодействия с HDFS необходимо использовать совершенно другой набор классов, в то время как используемая библиотека искателя использует java.io.Почему использование hdfs: // префикса для пути к файлу позволяет открыть файл?
Однако, когда коллега использовал hdfs: // localhost/path/to/storage, для пути к папке хранения искатель работал, и он мог писать в файловую систему. Я пытаюсь понять, почему это работает, есть ли что-то другое в jvms, основанных на hadoop, что заставляет их разрешать hdfs: // префиксные пути к пути на HDFS?
Вы уверены, что это в HDFS не в локальной файловой системе ?;) –
@ThomasJungblut Вы правы. Фактически это записывалось в локальную файловую систему. – rsman