Сходство расстояние измеряет

Question

Вектора как этот

v1 = {0 0 0 1 1 0 0 1 0 1 1} 
v2 = {0 1 1 1 1 1 0 1 0 1 0} 
v3 = {0 0 0 0 0 0 0 0 0 0 1} 

нужно вычислить сходство между ними. Расстояние Хэмминга между v1 и v2 составляет 4 и между v1 и v3 также 4. Но поскольку я заинтересован в группах «1», которые вместе для меня v2 гораздо больше похожа на v1 то v3 есть.

Есть ли какие-либо показатели расстояния, которые могут фиксировать это в данных?

Данные представляют собой размещение дома во времени, поэтому для меня это важно. '1' означает занятый, '0' означает не занятый.

Answer 1

Это звучит, как вам нужно cosine similarity меру:

similarity = cos(v1, v2) = v1 * v2/(|v1| |v2|) 

где v1 * v2 является скалярное произведение между v1 и v2:

v1 * v2 = v1[1]*v2[1] + v1[2]*v2[2] + ... + v1[n]*v2[n] 

По существу, скалярное произведение показывает, сколько элементов в обоих векторов есть 1 в то же положение: если v1[k] == 1 и v2[k] == 1, то итоговая сумма (и, следовательно, сходство) увеличивается, в противном случае она не изменяется.

Вы можете использовать сам точечный продукт, но иногда вам нужно, чтобы окончательное сходство было нормализовано, например. от 0 до 1. В этом случае вы можете разделить точечный продукт v1 и v2 по их длине - |v1| и |v2|. По существу, длина вектора квадратный корень из скалярного произведения вектора с самими собой:

|v| = sqrt(v[1]*v[1] + v[2]*v[2] + ... + v[n]*v[n]) 

Имея все это, это легко осуществить косинус расстояния следующим образом (пример в Python):

from math import sqrt 

def dot(v1, v2): 
    return sum(x*y for x, y in zip(v1, v2)) 

def length(v): 
    return sqrt(dot(v, v)) 

def sim(v1, v2): 
    return dot(v1, v2)/(length(v1) * length(v2)) 

Примечания , что я описал сходство (сколько двух векторов близко друг к другу), а не расстояние (как далеко они есть). Если вам нужно точно расстояние, вы можете рассчитать его как dist = 1/sim.

Answer 2

Я думаю, вы можете просто взять среднее значение значений в каждом наборе. Например v1 здесь будет иметь средний 0,4545, среднее v2 является 0,6363 и среднее v3 является 0,0909. Если единственными возможными значениями в наборе являются 0 и 1, то ваши цели с равными или почти равными значениями будут служить вашей цели.

Answer 3

Есть буквально сотни дистанционных функций, в том числе дистанционные меры для комплектов, таких как Dice and Jaccard.

Возможно, вы захотите получить книгу «Словарь дистанционных функций», это очень хорошо.

Answer 4

Случай 1: Если позиция тех, в серии имеет отношение, ТОГДА:

Я рекомендую динамическое время коробление расстояние (DTW). В применении данных временных рядов он оказался невероятно полезным.

Чтобы проверить, может ли он быть применен к вашей проблеме, я использовал код, представленный здесь: https://jeremykun.com/2012/07/25/dynamic-time-warping/

d13 = dynamicTimeWarp(v1,v3) 
d12 = dynamicTimeWarp(v1,v2) 
d23 = dynamicTimeWarp(v2,v3) 

d23,d12,d13 
(3, 1, 3) 

Как вы видите, d12 является самым низким, поэтому v1 и v2 являются наиболее похожи. Более подробную информацию о DTW можно найти в любом месте на этом форуме, а для исследовательских работ я рекомендую что-либо по Eamonn Keogh.

Случай 2: Положение них не имеет значения:

я просто согласен Дип для усреднения в качестве признака.