Как найти корреляцию и взаимосвязь между данными

Question

Я собираю данные (тексты) с определенным API (Live Streaming API) о конкретном событии, которое в настоящее время происходит. Данные, которые я получаю, основаны на списке ключевых слов по умолчанию, которые я передаю API. API также собирает ключевые слова, которые встречаются в текстах помимо ключевых слов по умолчанию, а затем добавляет их в мой список по умолчанию, чтобы API мог также искать данные с этими ключевыми словами. Вот где проблема возникает, потому что некоторые из этих новых добавленных ключевых слов не связаны с событием. Я не хочу ограничивать поиск данных только в моем списке по умолчанию, потому что я не могу охватить все ключевые слова, которые используются в текстах.

Мое решение до сих пор состоит в том,

Я был бы очень признателен, если бы кто-нибудь мог дать мне совет или какое-либо решение о том, как подойти к этой проблеме?

Answer 1

Вы можете обрабатывать подборку ключевых слов, используя термины co-events, должны обеспечивать лучшую релевантность для вашего списка по умолчанию. This - пример, но вы можете значительно улучшить алгоритм.