0
Где я могу найти такой корпус? Я требую, чтобы это построило детектор языка между хинди и английским языком на уровне токена (слова).Большой корпус текста хинди в римском шрифте
Например, что-то вроде хинди Википедии в латинском алфавите было бы весьма полезно. Или рассказы, сообщения в социальных сетях или твиты или блоги? Есть идеи?
Существующие транслитерационные двигатели не настолько хороши, насколько я могу судить. Если есть хорошо, подумайте об использовании этого.
Сверните свою собственную программу транслитерации, следуя, например, правилам [Международный алфавит санскритской транслитерации] (https://en.wikipedia.org/wiki/International_Alphabet_of_Sanskrit_Transliteration). AFAIK, языковые тексты на языке языка почти никогда не написаны латинским алфавитом; транслитерация используется только для имен и изолированных слов или коротких фрагментов в книгах, написанных на языке, который использует неиндийский алфавит. – AlexP
В последнее десятилетие «Romanagiri» (римский скрипт хинди) используется повсеместно в мгновенных сообщениях и социальных сетях. Однако это правда, что на этом языке нет книг или более структурированных текстов. Ваше предложение действительно мое исходное положение, но его недостаточно для того, чтобы он не очень хорошо напоминал транслитерацию. – ashu
См. «[Обнаружение Романагари в Твиттере]» (http://home.iitk.ac.in/~hrishirt/cs671/project/report.pdf) «Хришикеш Тердалкар и Шубханги Агарвал, ИИТ Канпур (2015 год); возможно, раздел по наборам данных может помочь. Электронные адреса авторов приводятся на [плакат] (http://home.iitk.ac.in/~hrishirt/cs671/project/poster.pdf). – AlexP