одна горячая кодировка для огромного количества тегов

Question

Я озадачен вопросом и хотел бы ваше мнение. Я работаю над сверлильной нейронной сетью в тензорном потоке. Теперь у меня есть изображения с тегами. Есть около 10000 уникальных тегов, и я хотел бы, чтобы изображения были автоматически помечены. Теперь я использую одну горячую кодировку для меток. Для 10000 уникальных тегов это будет похоже на функцию erruption. Как мы имеем дело с такими ситуациями?

Как сделать facebook своим тегом? Есть миллионы лиц. Наверное, они не делают ни одного горячего кодирования для тега лица правильно?

Answer 1

При распознавании лиц стандартным способом обработки миллионов классов является использование встраивания. CNN создает вложение размером от 64 до 1024.

В этом пространстве внедрения каждый класс изображений должен образовывать кластер изображений, а кластеры разных классов должны быть далеко друг от друга.

---

Подход Facebook описан в их DeepFace paper (июнь 2014 года), но я бы рекомендовал более современный подход от Google, используя потери триплетную: FaceNet: A Unified Embedding for Face Recognition and Clustering.