Проверка временных меток во временных рядах

Question

Я работаю с данными временных рядов, и я хотел бы знать, существует ли эффективный способ pythonic &, чтобы проверить, действительна ли последовательность временных меток, связанных с серией. Другими словами, я хотел бы знать, находится ли последовательность временных меток в правильном порядке возрастания без отсутствующих или дублированных значений.

Я полагаю, что проверка правильного порядка и наличие дублированных значений должна быть довольно простой, но я не уверен в обнаружении недостающих временных меток.

Answer 1

numpy.diff может использоваться для определения разницы между последующими отметками времени. Эти дифференциалы могут быть оценены, чтобы определить, являются ли временные метки выглядеть ожидаемому:

import numpy as np 
import datetime as dt 

def errant_timestamps(ts, expected_time_step=None, tolerance=0.02): 
    # get the time delta between subsequent time stamps 
    ts_diffs = np.array([tsd.total_seconds() for tsd in np.diff(ts)]) 

    # get the expected delta 
    if expected_time_step is None: 
     expected_time_step = np.median(ts_diffs) 

    # find the index of timestamps that don't match the spacing of the rest 
    ts_slow_idx = np.where(ts_diffs < expected_time_step * (1-tolerance))[0] + 1 
    ts_fast_idx = np.where(ts_diffs > expected_time_step * (1+tolerance))[0] + 1 

    # find the errant timestamps 
    ts_slow = ts[ts_slow_idx] 
    ts_fast = ts[ts_fast_idx] 

    # if the timestamps appear valid, return None 
    if len(ts_slow) == 0 and len(ts_fast) == 0: 
     return None 

    # return any errant timestamps 
    return ts_slow, ts_fast 


sample_timestamps = np.array(
    [dt.datetime.strptime(sts, "%d%b%Y %H:%M:%S") for sts in (
     "05Jan2017 12:45:00", 
     "05Jan2017 12:50:00", 
     "05Jan2017 12:55:00", 
     "05Jan2017 13:05:00", 
     "05Jan2017 13:10:00", 
     "05Jan2017 13:00:00", 
    )] 
) 

print errant_timestamps(sample_timestamps)