извлекает данные Google Analytics с помощью флагов Hadoop

Я хотел бы получить данные Google Analytics с помощью API Google Analytics. Я хочу сделать это с помощью Hadoop Flume, чтобы хранить их в hdf.извлекает данные Google Analytics с помощью флагов Hadoop

Например, я хочу, чтобы получить результат этого HTTP вызова:

https://www.googleapis.com/analytics/v3/data/ga?ids=ga%3A92525220&start-date=2016-08-25&end-date=2016-08-25&metrics=ga%3Asessions&access_token=XXX

я могу найти конфигурацию водовода для сбора HTTP запросов на этот пост: How to setup a HTTP Source for testing Flume setup?

Однако я не вижу http URL, и я смущен о том, как его использовать.

Не могли бы вы привести пример извлечения данных API Google Analytics или любого API с помощью флагов Hadoop?

Нужно ли промежуточное кодирование (java, python ...) для вызова API? Разве это не роль Flume для прямого вызова API?

источник

2016-08-29 rom

Вопросов просим нас, чтобы рекомендовать или найти книгу, инструмент, библиотеку программного обеспечения, учебник или ресурс другого внедорожного сайта отклонился от -topic для переполнения стека, поскольку они склонны привлекать упрямые ответы и спам. Вместо этого опишите проблему и то, что было сделано до сих пор, чтобы ее решить. – DaImTo

Вы можете попробовать Http-source, и если она не соответствует вашим потребностям, а затем пойти с Custom source

источник

2016-09-12 13:43:43

В исходном примере HTTP, который я даю в своем сообщении, нет URL с параметрами, поэтому я не понимаю, как его использовать. Есть ли параметр url в HTTP-источнике? – rom

@rom, извините, мой плохой. Источник Http не будет работать, его прослушиватель для запросов get & post. Вы должны пойти с пользовательским источником потока. Хорошим примером для этого является Flume doc –

извлекает данные Google Analytics с помощью флагов Hadoop

ответ

Смежные вопросы