Подсчет совпадений из файла словаря в окне, окружающем ключевое слово

Question

Для моего исследования я пытаюсь подсчитать из корпуса количество раз (совпадение) ряда сложных терминов (например, Safety Hazard), хранящихся в файл, 1 строка за фразу, отображаются в окне 16 слов целевого ключевого слова (например, средства). Я не программист, пытаюсь разбить его на 2 элемента: сначала извлеките файл из корпуса, где у меня есть совпадение с ключевым словом-мишенью, с 8 словами до и после. Затем попытайтесь сопоставить мой «файл словарного запаса» с этим выпиской. Я на части 1, попробовал это, но я просто получаю сообщение _sre.SRE_Match в сообщении 0x028FFE78> и изо всех сил пытаюсь использовать репрезентацию: любые одобренные предложения или другие способы сделать это. В конечном счете, я хочу, чтобы файл экспорта имел свои словарные слова со счетом после них, указывая, как часто они были найдены в этом окне с моим целевым словом. Использование re.search логики основывается на том, что я нашел на это сообщение борту, поэтому я попытался это:

input=open("Corpus.txt", "r") 
matches=[] 
lines=input.readlines() 
for line in lines: 
    m=re.search(r'(\S+\s+){0,8}facility(\s+\S+){0,8}',line) 
    if m: 
    matches.append(m) 
    for m in matches: 
     output.write(str(m)) 
     output.close() 

Любая помощь оценили, Пол

Answer 1

Ваш корпус уже tokenized? Вы действительно должны убедиться, что это так.

Во всяком случае, я думаю, что вы заинтересованы в группах объекта матча:

output.write(''.join(m.groups()) + '\n') 

Вы тогда узнаете, что ваши группы будут захватывать только последнее слово каждого окна. Вам нужно поставить дополнительную пару скобок:

m = re.search(r'((?:\S+\s+){0,8})facility((?:\s+\S+){0,8})', line) 

The (?:...) не является захват группы: она определяет сферу {0,8}, но это не дает вам дополнительную группу в результате.

Посмотрите официальный представитель Python RegEx Howto или найдите в Интернете учебник RegEx. И в любом случае, возможно, вам стоит искать готовый инструмент корпуса, вместо того, чтобы повторно изобретать колесо.

EDIT:
Для того, чтобы соответствовать несколько вхождений ключевого слова в одной строке, используйте re.findall() (возвращает список) или re.finditer() (возвращает итератор):

context = re.findall(r'((?:\S+\s+){0,8})facility((?:\s+\S+){0,8})', line) 

context будет список пар, т.е. левое и правое окно для каждого появления ключевого слова. Обратите внимание, однако, что он все равно не будет работать, если между двумя вхождениями одного и того же ключевого слова будет меньше 8 слов между ними, например.

Foo бар объект бла Foo бар Баз объект Foo бар

будет генерировать один матч только для первого вхождения «объекта», имея второй в своем правом окне. Второй «объект» не будет создавать собственное совпадение, так как re.findall() не выполняет совпадающие совпадения, что означает, что он будет искать другой «объект» только после окончания правильного контекста. Это также означает, что если между ними находится между 9 и 15 словами, второе левое окно «объекта» будет меньше того, что уже потреблялось первым.