TensorFlow - распознавание текста на изображении

Question

Я новичок в TensorFlow и Deep Learning. Я пытаюсь распознать текст в изображениях сцены природы. Раньше я работал с OCR, но я хотел бы использовать Deep Learning. Текст всегда имеет тот же формат: ABC-DEF 88:88.

То, что я сделал, распознает каждый символ/цифру. Это означает, что я обрезал изображение вокруг каждого символа (поэтому каждое изображение дает мне 10 символов), чтобы построить мой тренировочный и тестовый набор, и они построят две conv нейронные сети. Таким образом, мой тренировочный набор представлял собой набор изображений персонажей, а ярлыки были всего лишь символами/цифрами.

Но я хочу пойти дальше. То, что я хотел бы сделать, это просто дать полную картину и вывести весь текст (не один символ, например, в моей предыдущей модели).

Заранее благодарю за любую помощь.

Answer 1

Сложность в том, что вы не знаете, где находится текст. Решение, с учетом изображения, вам нужно использовать скользящее окно для обрезки другой части изображения, а затем использовать классификатор, чтобы определить, есть ли тексты в обрезанной области. Если это так, используйте свой распознаватель символов/цифр, чтобы указать, какие символы/цифры они на самом деле.

Итак, вам нужно обучить другой класс: с учетом обрезанного изображения (размер обрезанных изображений должен быть немного больше, чем размер вашей текстовой области), решите, есть ли внутри.

Просто построить обучающий набор (положительные образцы представляют собой текстовые области, отрицательные образцы и другие области, в случайном порядке купирован от больших изображений) и обучить его ~