Конфигурация cygnus.conf

Question

Мне нужно хранить данные в космосе с помощью формата mysql, но я не могу этого сделать. Я проверил, что данные хранятся в текстовом файле в космосе, но когда я вхожу в улей, нет таблицы с моим именем.

Ниже приведена конфигурация cygnus. Правильно ли это? Где моя ошибка для хранения в таблицах mysql?

cygnusagent.sources = http-source 
cygnusagent.sinks = hdfs-sink mysql-sink 
cygnusagent.channels = hdfs-channel mysql-channel 

cygnusagent.sources.http-source.channels = hdfs-channel mysql-channel ckan-channel 
cygnusagent.sources.http-source.type = org.apache.flume.source.http.HTTPSource 
cygnusagent.sources.http-source.port = 5050 
cygnusagent.sources.http-source.handler = es.tid.fiware.fiwareconnectors.cygnus.handlers.OrionRestHandler 
cygnusagent.sources.http-source.handler.notification_target = /notify 
cygnusagent.sources.http-source.handler.default_service = def_serv 
cygnusagent.sources.http-source.handler.default_service_path = def_servpath 
cygnusagent.sources.http-source.handler.events_ttl = 10 
cygnusagent.sources.http-source.interceptors = ts de 
cygnusagent.sources.http-source.interceptors.ts.type = timestamp 
cygnusagent.sources.http-source.interceptors.de.type = es.tid.fiware.fiwareconnectors.cygnus.interceptors.DestinationExtractor$Builder 
cygnusagent.sources.http-source.interceptors.de.matching_table = /usr/cygnus/conf/matching_table.conf 

cygnusagent.sinks.hdfs-sink.channel = hdfs-channel 
cygnusagent.sinks.hdfs-sink.type = es.tid.fiware.fiwareconnectors.cygnus.sinks.OrionHDFSSink 
cygnusagent.sinks.hdfs-sink.cosmos_host = 130.206.80.46 
cygnusagent.sinks.hdfs-sink.cosmos_port = 14000 
cygnusagent.sinks.hdfs-sink.cosmos_default_username = cristina.albaladejo 
cygnusagent.sinks.hdfs-sink.cosmos_default_password = my_passw 
cygnusagent.sinks.hdfs-sink.hdfs_api = httpfs 
cygnusagent.sinks.hdfs-sink.attr_persistence = column 
cygnusagent.sinks.hdfs-sink.hive_host = 130.206.80.46 
cygnusagent.sinks.hdfs-sink.hive_port = 10000 
cygnusagent.sinks.hdfs-sink.krb5_auth = false 
cygnusagent.sinks.hdfs-sink.krb5_auth.krb5_user = krb5_username 
cygnusagent.sinks.hdfs-sink.krb5_auth.krb5_password = xxxxxxxxxxxxx 
cygnusagent.sinks.hdfs-sink.krb5_auth.krb5_login_conf_file = /usr/cygnus/conf/krb5_login.conf 
cygnusagent.sinks.hdfs-sink.krb5_auth.krb5_conf_file = /usr/cygnus/conf/krb5.conf 

# OrionMySQLSink configuration 
cygnusagent.sinks.mysql-sink.channel = mysql-channel 
cygnusagent.sinks.mysql-sink.type = es.tid.fiware.fiwareconnectors.cygnus.sinks.OrionMySQLSink 
cygnusagent.sinks.mysql-sink.mysql_host = 130.206.80.46 
cygnusagent.sinks.mysql-sink.mysql_port = 3306 
cygnusagent.sinks.mysql-sink.mysql_username = root 
cygnusagent.sinks.mysql-sink.mysql_password = my_passw 
cygnusagent.sinks.mysql-sink.attr_persistence = column 

# hdfs-channel configuration 
cygnusagent.channels.hdfs-channel.type = memory 
cygnusagent.channels.hdfs-channel.capacity = 1000 
cygnusagent.channels.hdfs-channel.transactionCapacity = 100 

# mysql-channel configuration 
cygnusagent.channels.mysql-channel.type = memory 
cygnusagent.channels.mysql-channel.capacity = 1000 
cygnusagent.channels.mysql-channel.transactionCapacity = 100 

Answer 1

Как я ответил на этот вопрос:

How to configure Cygnus to save in mysql

Таблицы базы данных не создаются автоматически в режиме колонки. Итак, вам придется создавать таблицы.

столбцы выглядеть следующим образом: recvTime - DATETIME, FIELD1, поле2 .... field1_md - VARCHAR, field2_md - VARCHAR ....

Если изменить

cygnusagent.sinks.mysql-мойку .attr_persistence = столбец

в

cygnusagent.sinks.mysql-sink.attr_persistence = таблицы строк создаются автоматически, но я предпочитаю колонки способ сохранения и обработки данных.

Вы можете проверить журнал cygnus, чтобы узнать, что на самом деле происходит. Но, кажется, что вы должны создать базу данных и таблицу с объявлением полей

Вы также есть мой пример конфигурации которым работает нормально

Вы можете также искать Cygnus proccess с ps aux | grep cygnus и убить его kill XXXX (номер процесса Cygnus)

а затем запустить Cygnus в терминале, как этот

/usr/cygnus/bin/cygnus-flume-ng agent --conf /usr/cygnus/conf/ -f /usr/cygnus/conf/YOURAGENTCONFIGFILE.conf -n cygnusagent -Dflume.root.logger=INFO,console 

(Вы должны изменить имя файла конфигурации и ваш cygnusagent запустить I t)

Надеюсь, это вам поможет.