как игнорировать tashkeel знак счет в текстовой упаковке в короне sdk?

Question

Я делаю перенос текста (чтобы отделить длинную строку на строки) в короне

function wrap(str, limit, indent, indent1) 
    indent = indent or "" 
    indent1 = indent1 or indent 
    limit = limit or 72 
    local here = 1-#indent1 

    str = replacePartOfString(str,"*","\n") 

    return indent1..str:gsub("(%s+)()(%S+)()", 
          function(sp, st, word, fi) 
          if fi-here > limit then 
           here = st - #indent 
           return "\n"..indent..word 
          end 
          end) 
end 

local someString = " This is intended for strings without newlines in them (i.e. after reflowing the text and breaking it into paragraphs.) This is intended for strings without newlines in them (i.e. after reflowing the text and breaking it into paragraphs.) This is intended for strings without newlines in them (i.e. after reflowing the text and breaking it into paragraphs.) This is intended for strings without newlines in them (i.e. after reflowing the text and breaking it into paragraphs.) " 

print_r(string.split(wrap(someString,70,"",""),"\n")) 

он отлично работает с английским и арабским, но единственной проблемой в том, что считает Tashkeel в аравийском как письма, что является лучший способ игнорировать этих персонажей и не считать их? Я хочу сохранить их, но не считать их в переносе текста.

Answer 1

string.gsub() работы по байт строки, а не на ее гольцов. Есть разница, когда строка содержит текст в Юникоде. Используйте библиотеку utf8, чтобы получить символы.