Каков наилучший способ удаления не-ASCII-символов из текста Corpus при использовании Quanteda в R?

Question

Мне очень нужна. У меня есть корпус, который я преобразовал в общий язык, но некоторые из слов не были правильно переведены на английский. Поэтому в моем корпусе есть символы не ASCII, такие как «(U + 00F8)».

Я использую Quanteda и я импортировал мой текст, используя этот код:

EUCorpus <- corpus(textfile(file="/Users/RiohBurke/Documents/RStudio/PROJECT/*.txt"), encodingFrom = "UTF-8-BOM") 

Мой корпус состоит из 166 документов. Импортировав документы в R таким образом, что было бы лучшим способом избавиться от этих символов без символов ASCII?

Answer 1

Попытка:

texts(EUCorpus) <- iconv(texts(EUCorpus), from = "UTF-8", to = "ASCII", sub = "") 

Это преобразует кодировку ASCII, заменяя любые не переводимые символы (тех, кто не в диапазоне 0-127 ASCII) в ничто.