Использование условных случайных полей для распознавания именных имен

Question

Что такое Условное случайное поле? Как именно Условное случайное поле идентифицирует собственные имена как человека, организацию или место в структурированном или неструктурированном тексте?

Например: Этот продукт по заказу StackOverflow Inc.

Что Conditional Random Field сделать, чтобы определить StackOverflow Inc. как организация?

Answer 1

CRF - это дискриминационная, пакетная, маркирующая модель, в том же общем семействе, что и марковская модель Maximum Entropy.

Полное объяснение - книжная длина.

Краткое объяснение заключается в следующем:

1. Люди аннотирования 200-500К слов текста, маркировки объектов.
2. Люди выбирают набор функций, которые, как они надеются, указывают на объекты. Такие вещи, как капитализация, или это слово было замечено в учебном наборе с тегом.
3. Процедура обучения учитывает все вхождения функций.
4. Мясо алгоритма CRF ищет пространство всех возможных моделей, которые соответствуют подсчетам, чтобы найти довольно хороший.
5. В режиме исполнения декодер (возможно, декодер Витерби) рассматривает предложение и решает, какой тег назначить каждому слову.

Жесткие части этого являются выбором функции и алгоритм поиска в шаге 4.

Answer 2

Ну, чтобы понять, что вы должны изучить много вещей.
Для начала

Поймать основные из марковских и байесовских сетей.
Интернет курс доступен в Coursera Дафна Коллер
https://class.coursera.org/pgm/lecture/index

CRF является особый тип марковской сети, где мы имеем наблюдения и скрытые состояния.
Цель состоит в том, чтобы найти лучшее назначение состояний для ненаблюдаемых переменных, также известных как проблема с MAP.
Будьте готовы к большой вероятности и оптимизации. :-)