Как выбрать непохожий номер в массиве в C++?

Question

Я использую C++ для написания сценария ROOT для некоторой задачи. В какой-то момент у меня есть массив двойников, в которых многие довольно похожи, а один или два разные. Я хочу усреднить весь номер, кроме тех, что болели большими пальцами. Как мне подойти к нему? Для примера, давайте рассмотрим:

x = [2.3, 2.4, 2.11, 10.5, 1.9, 2.2, 11.2, 2.1] 

Я хочу, чтобы как-то среднее все числа, кроме 10.5 и 11.2, разнородных из них. Этот алгоритм будет повторяться несколько тысяч раз, а массив удваивает 2000 записей, поэтому желательно оптимизировать (при сохранении читаемости). Спасибо!

Ознакомиться: http://tinypic.com/r/111p0ya/3 «Несравненные» числа значений y импульса.

Точка этого определения основного значения для формы волны. Я сравниваю самое отрицательное значение с землей и надеялся получить лучший метод заземления, чем средний первый N баллов в выборке.

Answer 1

Учитывая, что вы используете КОРЕНЬ вы можете рассмотреть глядя на TSpectrum классов, которые имеют поддержку извлечения фона из-под неопределенным количеством пиков ...

Я никогда не использовал их с такими исходным шум, но они должны быть надежными.

BTW: что является источником этих данных. Пик выглядит как импульс детектора частиц, но высокий уровень фонового дрожания говорит о том, что вы действительно можете улучшить ситуацию с помощью некоторых незначительных корректировок аппаратного обеспечения DAQ, что может быть лучше, чем попытка решить сложную проблему с программным обеспечением.

Наконец, если вы не ограничены каким-то очень примитивным оборудованием (в этом случае, почему и как вы работаете с ROOT?), Если у вас есть только несколько тысяч таких спектров, вы можете позволить себе довольно медленный алгоритм. Или это 2000 спектров за событие и высокий уровень событий?

Answer 2

Быстрый способ может состоять в том, чтобы взять медиану, а затем взять средние числа, не так далеко от медианного.

«Не так далеко», будучи зависимым от вашего проекта.

Answer 3

Хорошим эмпирическим указателем для определения вероятных выбросов является вычисление Interquartile Range (IQR), а затем любые значения, равные 1,5 * IQR от ближайшего квартиля, являются выбросами.

Это основной метод, используемый многими системами статистики (например, R) для автоматического обнаружения выбросов.

Answer 4

Любой метод, который является статистически значимым и подходит для него (Dark Eru, Daniel White), будет слишком интенсивным для вычисления, и я думаю, что нашел работу вокруг, которая позволит более позднюю коррекцию (что означает, оставьте его без заземления).

Спасибо за предложения. Я посмотрю на них, если у меня будет время и хочу посмотреть, стоит ли их выигрыш в замедлении.

Answer 5

Вот быстрый и грязный метод, который я использовал раньше (работает хорошо, если есть очень мало выпадающие в начале, и вы не очень сложные условия для того, что представляет собой выброс)

Алгоритм O (N). Единственная действительно дорогая часть - это разделение.

Настоящим преимуществом здесь является то, что вы можете запустить его через пару минут.

avgX = Array[0] // initialize array with the first point 
N = length(Array) 
percentDeviation = 0.3 // percent deviation acceptable for non-outliers 
count = 1 
foreach x in Array[1..N-1] 
    if  x < avgX + avgX*percentDeviation 
     and x > avgX - avgX*percentDeviation 
      count++ 
      sumX =+ x 
      avgX = sumX/count 
    endif 
endfor 

return avgX 

Answer 6

Если вы можете, сохраните отсортированный список; то вы можете легко отрубить голову и хвост списка каждый раз, когда вы работаете в среднем.

Это очень похоже на удаление выбросов на основе медианы (т. Е. Вам понадобятся два прохода над данными, один - медианный, который почти такой же медленный, как и сортировка для данных с плавающей запятой, а другой - вычислить среднее значение), но требует меньших накладных расходов во время разработки среднего значения за счет сохранения отсортированного списка. Какой из них быстрее всего будет зависеть от ваших обстоятельств. Конечно, может быть, что вы действительно хотите, медиана в любом случае!

Если у вас есть дискретные данные (скажем, байты = 256 возможных значений), вы можете использовать 256 гистограммных бункеров с одним проходом над вашими данными, считая значения, которые идут в каждом ящике, тогда очень легко найти медиана/приблизительная средняя/удаление выбросов и т. д. Это был бы мой предпочтительный вариант, если бы вы могли позволить себе потерять некоторую точность в своих данных, а затем сохранить отсортированный список, если это подходит для ваших данных.