Вычислить точность и отзыв на базе WANG

Question

Я создал систему CBIR в MATLAB и использовал измерение подобия как евклидово расстояние. Используя это для каждого изображения запроса, я получаю 20 верхних изображений.

Я использовал WANG Dataset для тестирования своей системы.
Он содержит 10 классов (например, африканские люди, автобусы, розы и т. Д.), Каждый из которых содержит 100 изображений (всего 1000 изображений).

Мой метод:
1. Я использую коррелограмму, Co-Matrix встречаемости (CCM) и разницу между Pixel Pattern Scan (DBPSP) для построения моего вектора (64 + 196 + 28 = 288 размеров соответственно).

2. Каждое из изображений 1000 db у меня есть свой вектор, который был создан заранее.
3. Теперь появляется изображение запроса и я строю его вектор (228 измерений снова).
4. Я использую Euclidean Расстояние для сходства и сортировку векторов изображений в порядке убывания их эвклидного расстояния.

5. Показаны 20 результатов.

6. В этих 20 я могу иметь TP или FP.

Для одного изображения запроса можно легко вычислить точность и отклик и участок PR-кривой с помощью этого link.

Как я могу сделать то же самое для всего класса?

Мой подход: для каждого изображения, принадлежащего классу A, найдите 20 лучших изображений и соответствующие TP (истинные положительные значения) и FP (False Positive).

 TP FP 

Image1 17 3 
Image2 15 5 
... 
... 
Image100 10 10 
Total 1500 500 

Точность класса A = 1500/(2000) = +0,75 (Правильно ли ??)
Отзыв класса А ---> Штука ??
PR-Curve ----> Застрял ?? Некоторые ссылки говорят, что мне нужен классификатор для этого, а некоторые нет ... Я действительно смущен.

Answer 1

Как вы отметили, вы можете рассчитать точность следующим образом.

P = TP ./ (TP + FP); 

Однако, вам нужно иметь либо иметь FN или общее количество falses вычислить отзыв. Как discussed in chat, вам необходимо найти способ определения ваших данных FN и FP. Затем вы можете использовать следующую формулу для расчета отзыва.

R = TP ./ (TP + FN) 

Если у вас есть матрица путаницы или данные, вы можете использовать свой собственный confusionmat2f1.m для расчета точности, напомнит, и f1 оценку. Это предполагает, что матрица путаницы отформатирована как Matlab defines it. Объяснение каждой строки является строковым. Пожалуйста, дайте мне знать, если вы хотите получить больше разъяснений.

function [F,P,R] = confusionmat2f1(C) 
    %% confusionmat2f1(C) 
    % 
    % Inputs 
    % C - Confusion Matrix 
    % 
    % Outputs 
    % F - F1 score column vector 
    % P - Precision column vector 
    % R - Recall column vector 

    %% 

    % Confusion Matrix to Probability 
    M = sum(C, 3); 

    % Calculate Precision 
    P = diag(M) ./ sum(M,1)'; 

    % Calculate Recall 
    R = diag(M) ./ sum(M,2); 

    % Calculate F1 Score 
    F = f1(P, R);