Выполнение преобразования кодировки файла с помощью Rebol 3

Question

Я хочу использовать Rebol 3 для чтения файла в Latin1 и преобразования его в UTF-8. Есть ли встроенная функция, которую я могу использовать, или какая-то внешняя библиотека? Где я могу это найти?

Answer 1

Rebol имеет недопустимый-UTF? Функция, которая проверяет двоичное значение для байта, который не является частью действительной последовательности UTF-8. Мы можем просто цикл, пока мы не нашли и заменили все из них, а затем преобразовать наше двоичное значение в строку:

latin1-to-utf8: function [binary [binary!]][ 
    mark: :binary 
    while [mark: invalid-utf? mark][ 
     change/part mark to char! mark/1 1 
    ] 
    to string! binary 
] 

Эта функция изменяет исходный двоичный файл.Мы можем создать новую строку вместо, которая оставляет двоичное значение нетронутого:

latin1-to-utf8: function [binary [binary!]][ 
    mark: :binary 
    to string! rejoin collect [ 
     while [mark: invalid-utf? binary][ 
      keep copy/part binary mark ; keeps the portion up to the bad byte 
      keep to char! mark/1  ; converts the bad byte to good bytes 
      binary: next mark   ; set the series beyond the bad byte 
     ] 
     keep binary      ; keep whatever is remaining 
    ] 
] 

Bonus: вот ди Rebmu версии надземной rebmu/args snippet #{DECAFBAD} где snippet является:

; modifying 
IUgetLOAD"invalid-utf?"MaWT[MiuM][MisMtcTKm]tsA 

; copying 
IUgetLOAD"invalid-utf?"MaTSrjCT[wt[MiuA][kp copy/partAmKPtcFm AnxM]kpA] 

Answer 2

Ничего не построено в настоящий момент, извините. Вот простая реализация Latin-1 в UTF-8 преобразования, которые я написал и использовал с Rebol 3 некоторое время назад:

latin1-to-utf8: func [ 
    "Transcodes a Latin-1 encoded string to UTF-8" 
    bin [binary!] "Bytes of Latin-1 data" 
] [ 
    to-binary collect [foreach b bin [keep to-char b]] 
] 

Примечание: этот код оптимизирован для разборчивости и никоим образом не для выполнения , (С точки зрения производительности, это прямо глупо Вы были предупреждены.).

Update: Включенный @ аккуратный BrianH в «Latin-1 байтовые значения соответствуют Unicode кодовых» оптимизации, что делает выше коллапс одноцветный лайнер (и, мягко говоря, глупый одновременно). Все еще. для более оптимизированной версии, касающейся использования памяти, см. хороший ответ BrianH.

Answer 3

Вот версия, которая должна быть немного быстрее и, по крайней мере, использовать меньше памяти.

latin1-to-utf8: func [ 
    "Transcodes a Latin-1 encoded string to UTF-8" 
    bin [binary!] "Bytes of Latin-1 data" 
] [ 
    to binary! head collect/into [ 
     foreach b bin [ 
      keep to char! b 
     ] 
    ] make string! length? bin 
] 

Он использует символы Latin-1, имеющие одинаковые числовые значения, соответствующие соответствующим кодовым номерам Unicode. Если вы хотите конвертировать из другого набора символов, для которого это не так, вы можете сделать расчет на b для переназначения символов.

Он использует меньше памяти и быстрее по целому ряду причин:

• Обычно collect создает блок. Мы используем collect/into и передаем ему строку в качестве цели. Строки используют меньше памяти, чем блоки целых чисел или символов.
• Мы предварительно распределяем строку на длину входных данных, что экономит на перераспределениях.
• Мы разрешаем собственный код Rebol преобразовывать символы, а не выполнять свою собственную математику.
• В цикле меньше кода, поэтому он должен работать быстрее.

Этот метод все еще загружает файл в память сразу и по-прежнему создает промежуточное значение для хранения результатов, но по меньшей мере промежуточное значение меньше. Возможно, это позволит вам обрабатывать большие файлы.

Если причиной этого является UTF-8, необходимо обработать файл в виде строки в Rebol, просто пропустите to binary! и верните строку как есть. Или вы можете просто обрабатывать двоичные исходные данные, просто преобразуйте байты в двоичный файл, используя to char! на каждом из них, когда вы идете.

Answer 4

latin1-to-utf8: func [ 
    "Transcodes bin as a Latin-1 encoded string to UTF-8" 
    bin [binary!] "Bytes of Latin-1 data" 
    /local t 
] [ 
    t: make string! length? bin 
    foreach b bin [append t to char! b ] 
    t 
]