Итеративная оценка квантилей в Matlab

Question

Я пытаюсь реализовать взаимный алгоритм для оценки квантилей в данных, которые генерируются методом Монте-Карло. Я хочу сделать его итеративным, потому что у меня много итераций и переменных, поэтому хранение всех точек данных и использование функции Matlab quantile потребует значительной части памяти, которая мне действительно нужна для моделирования.

Я нашел несколько подходов, основанных на Robbin-Monro process, предоставленные

Реализация с контрольной последовательностью гр _т = с/т, где с постоянной довольно прямо вперед. В цитированной работе они показывают, что c = 2 * sqrt (2 * pi) дает неплохие результаты, по крайней мере, для медианы. Но они также предлагают адаптивный подход, основанный на оценке гистограммы. К сожалению, я еще не понял, как реализовать эту адаптацию.

Я проверил implementation with a constant c для трех тестовых образцов с 10.000 точками данных. Значение c = 2 * sqrt (2 * pi) не сработало для меня, но c = 100 выглядит неплохо для тестовых образцов. Тем не менее, это удаление не очень надежное и не удалось в реальном моделировании Монте-Карло, давая результаты в широких пределах.

probabilities = [0.1, 0.4, 0.7]; 
controlFactor = 100; 
quantile = zeros(size(probabilities)); 
indicator = zeros(size(probabilities)); 
for index = 1:length(data) 
    control = controlFactor/index; 
    indices = (data(index) >= quantile); 
    indicator(indices) = probabilities(indices); 
    indices = (data(index) < quantile); 
    indicator(indices) = probabilities(indices) - 1; 
    quantile = quantile + control * indicator; 
end 

Есть более надежное решение для итерационного квантиль оценки или кто-нибудь есть для реализации адаптивного подхода с малым потреблением памяти?

Answer 1

После того, как некоторые из адаптивных итеративных подходов, которые я нашел в литературе, без особого успеха (не уверен, если бы все было правильно), я придумал решение, которое дает хорошие результаты для моих тестовых образцов, а также для фактическое Монте-Карло-симуляция.

Я буфера подмножества результатов моделирования, вычисляю квантованные образцы и в среднем по всем квантовым количествам подмножества в конце. Это, кажется, работает достаточно хорошо и без настройки многих параметров. Единственный параметр - размер буфера, который в моем случае равен 100.

Результаты сходятся довольно быстро, и увеличение размера выборки не улучшает результаты. Кажется, что существует небольшое, но постоянное смещение, которое предположительно является усредненной ошибкой квантов квантов подмножества. И это недостаток моего решения. Выбирая размер буфера, можно зафиксировать достижимую точность. Увеличение размера буфера уменьшает это смещение. В конце концов, похоже, это компромисс между памятью и точностью.

% Generate data 
rng('default'); 
data = sqrt(0.5) * randn(10000, 1) + 5 * rand(10000, 1) + 10; 

% Set parameters 
probabilities = 0.2; 

% Compute reference sample quantiles 
quantileEstimation1 = quantile(data, probabilities); 

% Estimate quantiles with computing the mean over a number of subset 
% sample quantiles 
subsetSize = 100; 
quantileSum = 0; 
for index = 1:length(data)/subsetSize; 

    quantileSum = quantileSum + quantile(data(((index - 1) * subsetSize + 1):(index * subsetSize)), probabilities); 

end 
quantileEstimation2 = quantileSum/(length(data)/subsetSize); 

% Estimate quantiles with iterative computation 
quantileEstimation3 = zeros(size(probabilities)); 
indicator = zeros(size(probabilities)); 
controlFactor = 2 * sqrt(2 * pi); 
for index = 1:length(data) 

    control = controlFactor/index; 
    indices = (data(index) >= quantileEstimation3); 
    indicator(indices) = probabilities(indices); 
    indices = (data(index) < quantileEstimation3); 
    indicator(indices) = probabilities(indices) - 1; 
    quantileEstimation3 = quantileEstimation3 + control * indicator; 

end 

fprintf('Reference result: %f\nSubset result: %f\nIterative result: %f\n\n', quantileEstimation1, quantileEstimation2, quantileEstimation3);