Как публиковать таблицы из базы данных SQL в виде наборов данных автоматически в CKAN

Question

Я внедряю открытый портал данных для студентов uni, так что у них есть доступ ко всем наборам данных, сгенерированным в разных зданиях uni, и они могут работать над данными для разработки интересных приложений ,

Я установил CKAN. Его работа прекрасна. Я также использовал харвестер.

Моя главная забота: университет имеет систему, хранящую данные, поступающие от различных датчиков, таких как температура, свет, шум и т.д. Целью проекта является подключение к данным, хранящимся в системе с ckan так, что данные синхронизированный между данными, хранящимися в системах и открытой платформой данных. Я попытался собрать урожай для нескольких типов источников.

Не могли бы вы указать мне, что является лучшей функцией, которая может помочь мне подключиться к университетской системе хранения данных.

Нужно ли настраивать веб-сервер, с помощью которого мы можем подключить CKAN с помощью CKAN?

Нужно ли внедрять новое расширение, например publicopendataeu (например, opengov_se и т. Д.) Для подключения к разным ресурсам, или мы можем использовать существующие расширения?

Какой формат вы рекомендуете uni для хранения своих данных? В настоящее время данные хранятся в виде базы данных SQL.

можно ли каким-либо образом подключить эти SQL-таблицы к Ckan и импортировать эти таблицы в виде наборов данных?

Answer 1

Некоторые предложения:

• Попробуйте this CKAN extension. Идея состоит в том, чтобы разрешить просмотр удаленных таблиц SQL. В прошлый раз, когда я это пробовал, мне это не удалось, но похоже, что он был обновлен совсем недавно и утверждает совместимость CKAN 2.5.
• Используйте Datastore and Datastore API, чтобы иметь основные датчики/записи источника данных, чтобы CKAN непосредственно
• У нынешней системы записи в таблицах CKAN DATASTORE непосредственно (т.е. игнорировать API). Не так приятно, но, возможно, меньше работать, если у вас уже есть все, что настроено для записи БД. Вам нужно будет создать исходные наборы данных CKAN и ресурсы (1 таблица SQL для каждого ресурса) сначала
• (Аналогично выше) Создайте элегантную систему зеркалирования/репликации между таблицами базы данных. Возможно, только возможно/просто, если обе БД являются Postgres.
• Уборка будет работать, но вам придется написать собственный харвестер, который запрашивает/выполняет экспорт из базы данных и импортирует/обновляет его в ресурсы CKAN.
• (аналогично выше) Независимый скрипт, который запрашивает/выполняет экспорт из базы данных и импортирует/обновляет его в ресурсах CKAN с использованием API хранилища CKAN/CKAN