Как читать большие файлы (~ 300 МБ) из Google Cloud Storage?

Question

я могу легко upload/write или Read содержимое файлов (~ 80kb) от Google Cloud Storage

Теперь, я должен выполнить большую задачу, служа большие файлы (~ 200MB-300MB):

1) нужно читать содержимое загруженного файла в куски (~ 10 КБ).

 <--Want to modify chunked data programmatically--> 

2) Повторите «1» шаги до тех пор, пока поток прочитать все содержимое файла (от начала до конца последовательно).

Я пробовал this программу, но в ответ я только некоторое количество данных. Как выполнить указанное задание?

Answer 1

Вы не должны использовать API-интерфейс файла (который устарел - см. Комментарий в верхней части указанной вами страницы). Вместо этого используйте клиент GCS (упомянутый в уведомлении об устаревании). Клиент GCS позволяет вам читать непрерывно, и вы можете сериализовать состояние GcsInputChannel между запросами до тех пор, пока чтение не будет завершено (если чтение больше времени ожидания запроса). Вы также должны рассмотреть возможность использования библиотеки mapreduce и использовать GoogleCloudStorageLineInput для чтения файла и записи измененного в вашем картографе (возможно, только для карт в вашем случае).