Загрузите ранее сохраненные модели NER в SpaCy v1.1.2

Question

Итак, всякий раз, когда я пытаюсь загрузить ранее сохраненную модель для SpaCy NER, я получаю дамп ядра.

if os.path.isfile(model_path): 
    ner.model.load(model_path) 
for itn in range(5): 
    random.shuffle(TRAIN_DATA) 
    for raw_text, entity_offsets in TRAIN_DATA: 
     doc = nlp.make_doc(raw_text) 
     gold = GoldParse(doc, entities=entity_offsets) 
     ner.update(doc, gold) # <- Core dump occurs here 

отчет самосвала:

7fb1b7459000-7fb1b7499000 rw-p 00000000 00:00 0 [1] 23967 abort (core dumped) 

я делаю/загружая его неправильно?

Answer 1

Edit: Оказывается, мне не нужно, чтобы загрузить модель для того, чтобы обновить его, все, что мне нужно сделать, это удалить

if os.path.isfile(model_path): 
    ner.model.load(model_path) 

И добавить

ner.model.dump(model_path) 

до конца например:

for itn in range(5): 
random.shuffle(TRAIN_DATA) 
for raw_text, entity_offsets in TRAIN_DATA: 
    doc = nlp.make_doc(raw_text) 
    gold = GoldParse(doc, entities=entity_offsets) 
    ner.update(doc, gold) 
ner.model.dump(model_path) 

для того, чтобы добавить к ранее сохраненным данным. Все хорошо!

Answer 2

Хм. Однако, вероятно, все еще есть ошибка. Очевидно, что вы должны иметь возможность писать в предварительно загруженную модель!