Имеет ли смысл использовать кросс-корреляцию на массивах временных меток?

Question

Я хочу найти смещение между двумя массивами временных меток. Они могли бы представлять, скажем, начало звуковых сигналов на двух звуковых дорожках.

Примечание: На любом треке могут быть дополнительные или отсутствующие наборы.

Я нашел некоторую информацию о взаимной корреляции (например, https://dsp.stackexchange.com/questions/736/how-do-i-implement-cross-correlation-to-prove-two-audio-files-are-similar), которая выглядела многообещающей.

Я предположил, что каждый звуковой дорожки составляет 10 секунд в продолжительности, и представлял звуковые натисков как пики с «квадратной волны» с частотой дискретизации 44,1 кГц:

import numpy as np 

rfft = np.fft.rfft 
irfft = np.fft.irfft 

track_1 = np.array([..., 5.2, 5.5, 7.0, ...]) 
# The onset in track_2 at 8.0 is "extra," it has no 
# corresponding onset in track_1 
track_2 = np.array([..., 7.2, 7.45, 8.0, 9.0, ...]) 
frequency = 44100 
num_samples = 10 * frequency 
wave_1 = np.zeros(num_samples) 
wave_1[(track_1 * frequency).astype(int)] = 1 
wave_2 = np.zeros(num_samples) 
wave_2[(track_2 * frequency).astype(int)] = 1 
xcor = irfft(rfft(wave_1) * np.conj(rfft(wave_2))) 
offset = xcor.argmax() 

Этот подход не является особенно быстро, но я смог получить довольно последовательные результаты даже при довольно низких частотах. Однако ... я понятия не имею, если это хорошая идея! Есть ли лучший способ найти это смещение, чем кросс-корреляция?

Редактировать: добавлено примечание о недостающих и дополнительных onsets.

Answer 1

Если track_1 и track_2 являются отметками времени и звучат все сигналы, тогда нет необходимости создавать сигнал и выполнять кросс-корреляцию. Просто найдите среднюю задержку между двумя массивами звуковых сигналов временных меток:

import numpy as np 

frequency = 44100 
num_samples = 10 * frequency 
actual_time_delay = 0.020 
timestamp_noise = 0.001 

# Assumes track_1 and track_2 are timestamps of beeps, with a delay and noise added 
track_1 = np.array([1,2,10000]) 
track_2 = np.array([1,2,10000]) + actual_time_delay*frequency + 
      frequency*np.random.uniform(-timestamp_noise,timestamp_noise,len(track_1)) 

calculated_time_delay = np.mean(track_2 - track_1)/frequency 
print('Calculated time delay (s):',calculated_time_delay) 

Это дает примерно 0.020 с в зависимости от случайных ошибок, вносимых и примерно так же быстро, как он получает.

EDIT: Если необходимо обработать лишние или отсутствующие метки времени, код можно изменить следующим образом. По существу, если ошибка случайной случайности времени ограничена, тогда выполняйте статистическую «режимную» функцию при задержках между всеми значениями. Все, что связано с оценкой случайности случайности, группируется вместе и идентифицируется, тогда исходные идентифицированные задержки затем усредняются.

import numpy as np 
from scipy.stats import mode 

frequency = 44100 
num_samples = 10 * frequency 
actual_time_delay = 0.020 

# Assumes track_1 and track_2 are timestamps of beeps, with a delay, noise added, 
# and extra/missing beeps 
timestamp_noise = 0.001 
timestamp_noise_threshold = 0.002 
track_1 = np.array([1,2,5,10000,100000,200000]) 
track_2 = np.array([1,2,44,10000,30000]) + actual_time_delay*frequency 
track_2 = track_2 + frequency*np.random.uniform(-timestamp_noise,timestamp_noise,len(track_2)) 

deltas = [] 
for t1 in track_1: 
    for t2 in track_2: 
     deltas.append(t2 - t1) 
sorted_deltas = np.sort(deltas)/frequency 
truncated_deltas = np.array(sorted_deltas/(timestamp_noise_threshold)+0.5, 
dtype=int)*timestamp_noise_threshold 

truncated_time_delay = min(mode(truncated_deltas).mode,key=abs) 
calculated_time_delay = np.mean(sorted_deltas[truncated_deltas == truncated_time_delay]) 

print('Calculated time delay (s):',calculated_time_delay) 

Очевидно, что если слишком много звуковых сигналов отсутствуют или существуют дополнительные звуковые сигналы, то код начинает глючить в какой-то момент, но в целом он должен хорошо работать и быть намного быстрее, чем пытаться генерировать всю форму волны и выполнения корреляции ,

Answer 2

Да, это имеет смысл. Это обычно делается в Matlab. Вот ссылка на аналогичной заявки:

http://www.mathworks.com/help/signal/ug/cross-correlation-of-delayed-signal-in-noise.html

Несколько соображений

Кросс-корреляция обычно используется в случаях, когда сигнал в вопросе слишком много шума. Если у вас нет шума, чтобы беспокоиться о том, что я бы использовал другой метод.