информация поиск оценка точность python, напомнить, f оценка, AP, MAP

Question

Я написал одну программу для получения и извлечения информации. пользователь вводит запрос в строке поиска, программа может отображать соответствующий результат txt, такой как соответствующее предложение, и статью, которая состоит из предложения.

Я провел некоторое исследование, чтобы оценить результат. Мне может потребоваться рассчитать точность, отзыв, AP, MAP ....

Однако я новичок в этом. Как рассчитать результат. Поскольку мой набор данных не помечен, и я не выполнял классификацию. Набор данных, который я использовал, - это статья из новостей BBC. было 200 статей. Я назвал его 001.txt, 002.txt ...... 200.txt

Было бы хорошо, если у вас есть идеи, как сделать оценку в python. Благодарю.

Answer 1

Оценка имеет два основных аспекта. Первый - тестовый ресурс с ранжированием документов или их тегом релевантности (релевантным или не соответствующим) для конкретных запросов, который выполняется с помощью эксперимента (например, щелчок пользователя и т. Д.) И в основном используется, когда у вас есть работающая ИК-система), или сделанные через источник толпы. Вторая существенная часть оценки - это формула, используемая для оценки ИК-системы с тестовой коллекцией. Итак, основываясь на том, что вы сказали, если у вас нет помеченной коллекции тестов, вы не можете оценить свою систему.

Answer 2

Поскольку вы новичок, я кратко пишу, как вычислить точность, напомнить, fscore, AP и MAP в системе поиска информации.

Precision и Recall меры

Precision «всех документов, которые мы извлекаемые как имеющие отношение, сколько на самом деле важно?».

Precision = No. of relevant documents retrieved/No. of total documents retrieved 

Вспомогательные меры «Из всех актуальных документов, сколько мы получили в качестве релевантных?».

Recall = No. of relevant documents retrieved/No. of total relevant documents 

Предположим, если запрос «д» подается в информационно-поисковой системы (напр., Поисковая система), имеющий 100 соответствующих документов w.r.t. запрос «q», система извлекает 68 документов из общей коллекции 600 документов. Из 68 извлеченных документов было 40 документов. Таким образом, в данном случае:

Precision = 40/68 = 58.8% и Recall = 40/100 = 40%

F-Score/F-мера представляет собой взвешенное среднее гармоническое точности и отзывом. Традиционная F-мера или сбалансирован F-оценка:

F-Score = 2 * Precision * Recall/Precision + Recall 

Средняя точность

Вы можете думать об этом так: вы печатаете что-то в Google и показывает 10 результатов. Вероятно, это лучше всего, если бы все они были релевантными. Если только некоторые из них релевантны, скажем, пять из них, то это намного лучше, если соответствующие сначала будут показаны. Было бы плохо, если бы первые пять были неактуальны, а хорошие начали только с шестого, не так ли? Оценка AP отражает это.

Дающ пример ниже:

AvgPrec из двух рейтингов:

Рейтинг # 1: (1.0 + 0.67 + 0.75 + 0.8 + 0.83 + 0.6)/6 = 0.78

Рейтинг # 2: (0.5 + 0.4 + 0.5 + 0.57 + 0.56 + 0.6)/6 = 0.52

Средняя средняя точность (MAP)

MAP - среднее значение средней точности по нескольким запросам/рейтингам. Приведем пример для иллюстрации.

Средняя средняя точность для двух запросов:

Для запроса 1 AvgPrec: (1.0+0.67+0.5+0.44+0.5)/5 = 0.62

По запросу 2 AvgPrec: (0.5+0.4+0.43)/3 = 0.44

Таким образом, MAP = (0.62 + 0.44)/2 = 0.53

Иногда люди используют precision@k, recall@k как показатель эффективности поисковой системы. Чтобы провести эксперимент, вы можете использовать известный набор данных AOL Search Query Logs для создания системы на основе поиска (вам просто нужна дополнительная функция поиска), а затем поэкспериментируйте с этим. Я даю один пример функции ранжирования документов.

Документ Ранжирование/индексирование Функция

Okapi BM25 (BM стоит за лучший Matching) является функцией ранжирования используется поисковыми системами для ранжирования, соответствующие документы в соответствии с их значимостью для данного поискового запроса. Он основан на вероятностной структуре поиска. BM25 - это функция извлечения , которая оценивает набор документов на основе условий запроса, появляющихся в каждом документе, независимо от взаимосвязи между условиями запроса в документе (например, их относительной близостью). Дополнительную информацию см. На странице Wikipedia.