Открытая библиотека методов анализа и генерации векторной графики (Андрей Пименов, OSEDUCONF-2024)
Материал из 0x1.tv
- Докладчик
- Андрей Пименов
Современные подходы компьютерного зрения по генерации и обработке изображений посвящены в основном растровой графике. Растровые изображения представляют собой многомерную матрицу пикселей, однако существует и другой способ описания изображений — векторный подход, использующий математические формулы для описания объектов. К сожалению, методы обработки векторной графики в настоящее время изучены недостаточно, и не существует единой библиотеки с понятным интерфейсом, которая бы позволяла производить различные операции с векторными изображениями.
Предлагаемая нами открытая библиотека позволяет закрыть этот пробел и объединить ранее предложенные подходы по генерации, анализу и обработке векторных изображений.
Библиотека включает в себя методы дифференцируемой растеризации, векторизации, нахождении плагиата векторных чертежей, генерации векторных изображений по музыке и переносу стиля между векторными изображениями. В дальнейшем планируется улучшать библиотеку и добавлять в неё новые методы генеративной обработки векторной графики.
Содержание
Видео
Презентация
Thesis
EvoVec
На данный момент вопрос векторизации полностью не решён. Существующие подходы имеют ряд недостатков как в качестве, так и скорости работы. Для решения этих проблем предлагается эволюционный алгоритм векторизации изображений. Основная идея подхода заключается в итеративном улучшении векторных изображений с помощью мутаций и кроссоверов. Сам алгоритм не требует никаких параметров, таких как количество путей в векторизованном изображении, кроме самого исходного изображения, что делает алгоритм универсальным. Результаты сравнения с существующими решениями показывают, что разработанный алгоритм качественно и быстро векторизует изображения, превосходит другие по попиксельному MSE на 15% и не генерирует ненужных путей в итоговом векторизованном изображении.
VectorNST
Наше исследование показывает, что применение стандартных функций потерь стиля и контента меняют стиль рисования векторных изображений, поскольку структура векторных примитивов отличается от пикселей. Чтобы справиться с этим, мы вводим новые функции потерь. Предлагаемое нами решение, VectorNST, основанное на дифференцируемой растеризации, использует эти новые функции потерь и может изменять параметры цвета и формы изображения содержимого так, чтобы соответствовать изображению стиля. Качественные эксперименты демонстрируют эффективность предложенного метода VectorNST по сравнению с современными подходами переноса стиля для растровых изображений и единственным существующим подходом для стилизации векторных изображений DiffVG.
VectorWeaver
Диффузионные растровые модели не могут успешно справляться с генерацией векторных изображений из-за существенных различий в структуре изображений. Мы решаем проблему синтеза векторных изображений, разрабатывая новую архитектуру модели на основе диффузии и трансформеров, которую мы назвали VectorWeaver. Для обучения модели мы собрали набор данных векторных изображений из общедоступных ресурсов и провели их аугментацию. Качественные эксперименты демонстрируют превосходство и вычислительную эффективность предложенной модели по сравнению с существующими методами генерации векторных изображений.
CoverGAN
Основной архитектурой модели для генерации векторных обложек была выбрана условная генеративно-состязательная сеть. Она обучается на датасете из собранных ранее растровых обложек музыкальных композиций. В качестве условия сеть принимает саму музыкальную композицию, из которой затем выделяются разные музыкальные признаки, а также эмоцию, которую музыка вызывает у слушателя. Задача генератора состоит в том, чтобы на основе этих данных выдать векторную обложку, максимально соответствующую условию. Для трансформации переданных данных в конечный результат планируется использовать алгоритм Path Decoder, описанный в статье Im2Vec. Также реализована модель, добавляющая надпись, содержащую информацию об исполнителе и названии трека, на обложку. Таким образом, сервис создаёт для музыкальной композиции обложку в векторном формате, отвечающую эмоции, заданной пользователем.
VectorMem
Одной из проблем анализа векторной графики является неограниченность векторных изображений в количестве объектов на изображении. Это накладывает существенные ограничения в плане анализа и генерации новых изображений. Мы хотим предложить решение которые поможет обрабатывать векторные изображения неограниченной сложности. Для этого мы разработали модель VectorMem в которой использовали наработки в области трансформеров памяти. Для проверки её работы мы протестировали её на задаче поиска плагиата на одних из самых высокоразмерных векторных данных — чертежах. Результаты показали её превосходство как над растровыми моделями, так и на обычных решениях анализа векторной графики.
!.jpg)