установить кодировку для чтения текстовых файлов в tm Corpora

Question

Загрузка куча документов с использованием tm Corpus Мне нужно указать кодировку.

Все документы закодированы в кодировке UTF-8. Если openend через содержимое текстового редактора одобрен, но содержимое корпуса заполнено странными символами (indicioâ., 'Sœs ....) Исходный текст написан на испанском языке. ES_es

library(tm) 
cname <- file.path("C:", "Users", "john", "Documents", "texts") 
docs <- Corpus(DirSource(cname), encoding ="UTF-8") 

> Error in Corpus(DirSource(cname), encoding = "UTF-8") : 
    unused argument (encoding = "UTF-8") 

Редакцией:

Получение ул (документы [1]) из корпуса я заметил:

.. .. $ Язык: CHR "ан"

Как может Я указываю, например, «UTF-8», «Latin1» или любую другую кодировку, чтобы избежать странных символов?

С уважением

Answer 1

От "C:" Это ясно, что вы используете Windows, который предполагает Windows-1252 кодировку (в большинстве систем), а не UTF-8. Вы можете попробовать прочитать файлы в качестве символа, а затем установить Encoding(myCharVector) <- "UTF-8". Если входной кодировкой был UTF-8, это должно заставить вашу систему правильно распознавать и отображать символы UTF-8.

В качестве альтернативы это будет работать, хотя это также делает тм ненужный:

require(quanteda) 
docs <- corpus(textfile("C:/Users/john/Documents/texts/*.txt", encoding = "UTF-8")) 

Тогда вы можете увидеть тексты, используя, например:

cat(texts(docs)[1:2]) 

Они должны иметь битое кодирование установлены и правильно отобразить. Тогда, если вы предпочитаете, вы можете получить их в тм с помощью:

docsTM <- Corpus(VectorSource(texts(docs))) 

Answer 2

Кажется, что нет никакой необходимости в использовании quanteda пакета (кроме того, некоторое странное поведение теряет имена файлов при преобразовании в TM VCorpora)

files <- DirSource(directory = "C:/Users/john/Documents/",encoding ="UTF-8") 
mycorpus<- VCorpus(x=files) 

Теперь кодировка верна.