tokenize

1зной

1ответ

Как я могу предотвратить токенизатор spacy от разделения конкретной подстроки при токенизации строки?

Как я могу предотвратить токенизатор spacy от разделения определенной подстроки при токенизации строки? Более конкретно, у меня есть предложение: После незарегистрированный папка ушла от оболочки. кот

python nlp tokenize spacy 2017-01-26

---

2зной

1ответ

Удаляет токен, начинающийся с определенных символов

Привет Я пытаюсь удалить все те токены, которые содержатся в моем предопределенном списке (префиксы). Ниже мой код и не снимает токены. prefixes = ('#', '@') tokens = [u'order', u'online', u'today',

python string tokenize 2017-01-29

---

5зной

2ответ

XML/Java: Точные позиции строк и символов при анализе тегов и атрибутов?

Я пытаюсь найти способ точно определить номер строки и расположение символов как тегов, так и атрибутов при анализе XML-документа. Я хочу сделать это, чтобы я мог точно сообщить автору документа XML (

java xml parsing tokenize sax 2017-01-31

---

0зной

1ответ

Как удалить "в строках с RegexpTokenizer

from nltk.tokenize import RegexpTokenizer text="That's some text, you know!" tokens=[] tokenizer = RegexpTokenizer(r'\w+') tokens+=tokenizer.tokenize(text.lower()) В настоящее время возвращает:

python nltk tokenize 2017-02-05

---

2зной

2ответ

Сохранять препинание в python nltk.word_tokenize

Существует тонна, касающаяся удаления знаков препинания, но я не могу найти что-либо, чтобы ее сохранить. Если я: from nltk import word_tokenize test_str = "Some Co Inc. Other Co L.P." word_tokenize

python nlp nltk tokenize 2017-02-07

---

1зной

2ответ

Самый быстрый алгоритм для разбиения строки на C?

Я пишу парсер ввода CLI, и я хочу знать, что является самым быстрым алгоритмом для разбиения строки на токены. Правила: Пространство означает конец маркера. Любой символ может быть экранирован с помощ

c string algorithm command-line-interface tokenize 2017-02-22

---