Невозможно отличить одиночные символьные слова с libunibreak

Question

Когда я использую set_word_breaks_utf32() из библиотеки libunibreak для перемещения по словам, я вижу, что однословные слова (т.е. «a» на английском языке, «北» на китайском языке ...) исчезают, потому что они всегда оценивайте WORDBREAK_BREAK и, следовательно, неотличимы от окружающих пробелов. Следующий код демонстрирует проблему:

#include <stdio.h> 
#include "wordbreak.h" 

int main(int argc, const char* argv[]) { 
    int i; 
    uint32_t text[] = { 'T', 'h', 'i', 's', ' ', 'i', 's', ' ', 'a', ' ', 't', 'e', 's', 't', '.', '\n' }; 
    char breaks[1024]; 
    size_t length = sizeof(text)/sizeof(text[0]); 
    set_word_breaks_utf32(text, length, "", breaks); 
    for(i = 0; i < length; i++) putchar(text[i]); 
    for(i = 0; i < length; i++) putchar(breaks[i] + '0'); 
    putchar('\n'); 
    return 0; 
} 

Выходной сигнал этого кода ясно показывает, что буква «а» неотличима от окружающего пробельных:

This is a test. 
1110010000111000 

Что я могу сделать, чтобы гарантировать, что границы однобуквенных слов различаются в set_word_breaks_utf32() выводах?

[Извинения для использования line-breaks тега, но word-break тег связан со свойством CSS.]

Answer 1

Unicode Standard Annex #29 не на самом деле предназначены для этого. Что такое set_wordbreaks_utf32() does is find every word рубеж.

This is a test. 
1110010000111000 

    T h i s ' ' i s ' ' a ' ' t e s t . '\n' 
| _ _ _ | | _ | | | | _ _ _ | | | 

Каждый | выше границы слова, которое может быть полезно, чтобы найти слова, но это не полное решение. Обратите внимание, что в начале строки есть неявная граница слова. Алгоритм полного определения слова должен будет определить, является ли символ между каждой смежной границей слов буквой юникода и соответствующим образом помечать этот символ как слово.