Может ли CKAN обрабатывать тысячи больших файлов размером 500 МБ-1 ГБ?

Question

Является ли CKAN способным обрабатывать десятки тысяч файлов, в среднем по 50 МБ каждый?

А что, если пара сотен наборов данных превысит 1 ГБ, некоторые из них будут размером до 10 ГБ?

Эти файлы будут в формате netCDF. Итак, из того, что я понимаю, я бы не использовал datastore, поскольку мне не нужно просматривать данные.

Аналогичный вопрос: Is CKAN capable of dealing with 100k+ files and TB of data?, но в некоторых ответах упоминаются вещи, все еще находящиеся в разработке, и не указывайте данные размера GB.

Answer 1

Если данные были CSV-файлом (или таблицей Excel), то обычной задачей было бы, чтобы DataPusher CKAN загрузил его в DataStore CKAN и предложил бы вам полный API запросов SQL. Если ваши данные NetCDF являются табличными, и вы хотели бы предложить ему API, то вы можете добавить импортера в DataPusher для этого формата.

Но все файлы могут быть загружены в FileStore CKAN, где хранятся файлы на диске вашего сервера, и вы можете их обслуживать с помощью nginx. Таким образом, файлы GB в порядке, ограниченные только дисковым пространством и пропускной способностью. Или просто поместите его на S3 с помощью этого расширения CKAN: ckanext-s3filestore

Наконец, многие люди используют CKAN просто для хранения ссылок на файлы, которые хранятся в Интернете в другом месте (например, на аффилированных сайтах), и, конечно, вы можете ссылаться на любой размер файла.