Чтение в файле с Google datalab

Question

Я пытаюсь использовать Google Datalab для чтения в файле в ноутбуке ipython, базовом pd.read_csv(), поскольку я не могу найти путь к файлу. Я использую его локально, а также загружал его в хранилище облачных хранилищ Google в ведро.

Я побежал следующие команды, чтобы понять, где я

os.getcwd() 

дает '/content/myemail@gmail.com'

os.listdir('/content/myemail@gmail.com') 

дает [ '.git', '' .gitignore , «DATALAB», «Привет World.ipynb»,»] .ipynb_checkpoints

Answer 1

Ниже считывает содержимое объекта в переменную строки под названием text:

%%storage read --object "gs://path/to/data.csv" --variable text 

Тогда

from cStringIO import StringIO 
mydata = pd.read_csv(StringIO(text)) 
mydata.head() 

Надеется панда будет поддерживать "gs://" URL-адреса (как это делает для s3:// в настоящее время, чтобы позволить чтение непосредственно из хранилища Google Cloud.

Я нашел следующие документы действительно полезно:

https://github.com/GoogleCloudPlatform/datalab/tree/master/content/datalab/tutorials

Надежда, что помогает (просто начать работу с DATALAB тоже, так что, может быть, кто-то будет иметь более чистый метод в ближайшее время).

Answer 2

Вы также можете запускать запросы BigQuery непосредственно против файлов CSV в Cloud Storage, создав объект-оболочку FederatedTable. Это описано здесь:

https://github.com/GoogleCloudPlatform/datalab/blob/master/content/datalab/tutorials/BigQuery/Using%20External%20Tables%20from%20BigQuery.ipynb