Redshift - Расчет ежемесячных активных пользователей

Question

У меня есть таблица, которая выглядит следующим образом:

Date  | User_ID 
2017-1-1 | 1 
2017-1-1 | 2 
2017-1-1 | 4 
2017-1-2 | 3 
2017-1-2 | 2 
...  | .. 
...  | .. 
...  | .. 
...  | .. 
2017-2-1 | 1 
2017-2-2 | 2 
...  | .. 
...  | .. 
...  | .. 

я хотел бы вычислить активных пользователей ежемесячно в течение качению период 30 дней. Я знаю, что Redshift не делает окна COUNT (DISTINCT)). Что я могу сделать, чтобы получить следующий результат?

Date  | MAU 
2017-1-1 | 3 
2017-1-2 | 4 <- We don't want to count user_id 2 twice. 
...  | .. 
...  | .. 
...  | .. 
2017-2-1 | .. 
2017-2-2 | .. 
...  | .. 
...  | .. 

Я попытался сделать это (и явно потерпел неудачу). Вот мой код:

SELECT event_date 
    ,sum(user_count) mau_count 
    ,CASE 
     WHEN event_date = date_trunc('week', event_date) 
      THEN 1 
     ELSE 0 
     END week_starting FROM (
    SELECT event_date 
     ,count(*) OVER (PARTITION BY event_date ORDER BY event_date ROWS BETWEEN 30 PRECEDING 
        AND CURRENT ROW 
      ) AS user_count <-- I know this is wrong. Just my attempt :) 
    FROM (
     SELECT DISTINCT (user_id) 
      ,event_date 
     FROM event_table 
     ) daily_distinct_users 
    GROUP BY event_date 
    ) cumulative_daily_distinct_users GROUP BY event_date; 

Пожалуйста, дайте мне знать, как я могу точно подсчитать количество MAU. Благодаря!

Answer 1

Это один, кажется, работает (имена столбцов в log таблице dt и userid):

SELECT 
    end_date, 
    -- The number of distinct users during the 30 days prior 
    COUNT(DISTINCT userid) distinct_users 
FROM log 
JOIN 
(-- A list of dates to appear in the output first column 
    SELECT DISTINCT dt AS end_date 
    FROM log 
    WHERE dt BETWEEN date '2017-01-01' AND date '2017-01-31' 
) ON dt BETWEEN end_date - interval '30 days' AND end_date 
GROUP BY end_date 
ORDER BY end_date 

В основном, к югу выберите генерирует список end_dates, которые появляются как первый выходной столбец. Затем он соединяется с отдельным номером userid, который появляется в течение 30 дней до выбранной даты.

Answer 2

Предполагая, что не будет отсутствующих дат, вы можете сначала получить первое свидание с пользователем, используя функцию MIN. Затем получите счетчик пользователей для каждой даты, а затем используйте функцию SUM, чтобы получить текущую сумму.

SELECT DISTINCT EVENT_DATE, 
SUM(CNT) OVER(ORDER BY EVENT_DATE ROWS BETWEEN 30 PRECEDING AND CURRENT ROW) AS MAU 
FROM 
(SELECT E.EVENT_DATE, 
     COUNT(DISTINCT T.USER_ID) AS CNT 
    FROM EVENT_TABLE E 
    LEFT JOIN 
    (SELECT DISTINCT USER_ID, 
    MIN(EVENT_DATE) OVER(PARTITION BY USER_ID 
          ORDER BY EVENT_DATE ROWS BETWEEN 30 PRECEDING AND CURRENT ROW) AS FIRST_APPEARED_ON 
    FROM EVENT_TABLE 
    ) T ON T.FIRST_APPEARED_ON=E.EVENT_DATE AND T.USER_ID=E.USER_ID 
    GROUP BY E.EVENT_DATE 
) T1 

Sample Demo using SQL Server

Answer 3

@ Ответ Джона Ротенштейна работает хорошо.

Для тех, кто наткнулся на этот вопрос и ищет что-то немного больше, следующее blog post описывает альтернативную стратегию предвычисления для быстрого вычисления подвижных МАУ. Это избыточно для вопроса здесь, но может пригодиться в случае, если:

• является раздраженным с медленной скоростью роста метрических вычислений для интерактивных запросов,
• нужно вычислить другие метрики качения роста (например, регистрацию, активация, удержание, реактивация), или
• регулярно выполняют анализы, которые включают в себя некоторый тип числа опрошенных пользователей.