Как сегментировать записи Брайля с камерой реального времени?

Question

Я студент-бакалавр и в настоящее время работает над окончательным проектом по оптическому распознаванию шрифтов Брайля, используя камеру реального времени. Я успешно обработал изображение в формате HSV и извлек только значение изображения HSV, чтобы предотвратить окружающий свет, влияющий на изображение, выполненный бинарный порог, обнаружение canny edge, эрозия и расширение для получения только точек Брайля от камера.

Я хотел бы спросить, как выполнить сегментацию в задаче, когда расстояние между точками всегда изменяется, когда камера движется ближе или дальше к произведениям Брайля?

Любая помощь будет оценена по достоинству. Спасибо

Answer 1

Для этого вы обнаружите какую-то относительную пару координат, которая позволит вам обнаружить «масштаб» брайлевской записи в вашем изображении. Это может быть идентификационная пара точек на обоих концах записи или даже только некоторые характерные точки. С масштабом вы можете преобразовать изображение в одинаковый размер, в зависимости от того, на каком расстоянии находится камера.

Answer 2

Существует не простое, общее решение вашей проблемы. Разумеется, если I не сразу понимают, как эти шрифты Брайля отстоят друг от друга, это нелегко решить простым алгоритмом.

Лучше читать литературу по системе Брайля текст, поговорите с вашим профессором, и есть слепой человек объяснить вам, как они читают по Брайлю.

Кроме этого вам необходимо будет найти базовые линии текстовых строк Брайля и посмотреть, как они отличаются, а затем запустить cvPerspectiveTransform, чтобы выровнять изображение, чтобы вы могли сегментировать точки без соображений для перспективы.

Answer 3

Эта проблема очень похожа на проблемы, с которыми я столкнулся в своей системе штрих-кода. Мой ответ - обобщенное описание метода, который я использую.

Я бы начал с деления изображения на сетку, где одна ячейка символа поместилась бы в одну ячейку сетки. Это обеспечило бы, что любой символ будет гарантированно помещаться в ячейку сетки 2x2, независимо от того, как сетка накладывает изображение.

Преобразование изображения в точках. Точки идентифицируются локальным идентификатором, используя небольшую область пикселей.

присваивать каждой точке номер ячейки сетки. это должно быть чем-то легким, как местоположение x/y, разделенное на 32 пикселя ячейки ((y/32) * (ширина/32)) + (x/32)

Держите подсчет точек на ячейку ячейки и когда все идентифицируются точки, сортировка таблицы точек по номеру сетки и построение индекса по смещению в таблице и количеству элементов.

Если разрешение варьируется, проведите несколько ячеек с большим количеством точек, чтобы определить расстояние между парами ячеек.

Посмотрите, если ячейки строят за строкой, но исследуйте каждую ячейку, используя группу ячеек 2x2. Таким образом, любая точка в тестируемой ячейке, как гарантируется, будет соответствовать парной точке (если таковая существует). Используя точки сетки, нужно только сопоставлять точки друг с другом, так что, хотя изображение может иметь тысячи точек, отдельные точки должны быть поставлены в соответствие с 1-10 точками.

Сопрягающие точки создадут дубликаты, которые могут быть предотвращены при согласовании или очистке позже.

На этом этапе вам нужно будет сопоставить точки с шрифтом Брайля. Горизонтальные пары пар и пары вертикальных пар должны иметь возможность начать выравнивание текста Брайля.

Как только линии выровнены, таблица пятна будет затем повернута в определяемое выравнивание текста. Пар будет помещен в выравнивание, а затем с позиции пары можно добавить несогласованные пятна, сопоставив местоположение сетки пары с непарными точками в таблице точек.