CKAN загружает пользовательский формат tsv по расписанию

Question

Я пытаюсь загрузить файлы данных, отформатированные на заказ, из климатического сайта Великобритании, например. this file. Существует 5 строк метаданных и 1 строка заголовка.

1) Может ли CKAN предварительно обработать файл в соответствии с форматом, который я ему даю, чтобы получить только данные. Возможно сохранение метаданных в описании?

Я бы предпочел вариант с интерфейсом, потому что я хочу, чтобы пользователи могли делать это сами.

2) Возможно ли, что набор данных загрузится автоматически после ввода URL-адреса. В настоящее время мне нужно перейти на страницу управления -> хранилище данных и нажать на загрузку в хранилище данных, чтобы данные были заполнены.

3) Может ли набор данных обновляться с регулярным интервалом?

Благодаря

Answer 1

1. В настоящее время не. Выполнение ETL по входящим данным - это то, что обсуждается много недавно, так что это может произойти в ближайшее время.

2. Вам не нужно вручную запускать нагрузку в хранилище данных. Это при создании нового ресурса или при редактировании существующего ресурса? При редактировании ресурса, я считаю, что он запускается только при изменении URL-адреса.

3. Вы можете использовать https://github.com/ckan/ckanext-harvest, чтобы данные были загружены в CKAN по регулярному графику - есть комбайны для различных магазинов, поэтому это зависит от того, где он обновляется.