Skip to main content
RSS

Видео дня: мультфильм от Ван Гога

Недавно мы писали о том, как нейросети смогли «написать» новый «автопортрет» Рембрандта, а вот немецкие ученые пошли дальше. Они перенесли художественные стили Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы. Препринт публикации можно найти на arXiv.org.

Ученые Фрайбургского университета использовали наработки по переносу стиля художников на статичные иллюстрации. Сверточные нейросети распознают общие признаки, например, цветовую палитру, и с увеличением глубины детализация возрастает, так стиль любого художника можно применить на любую иллюстрацию.

Исследователи в работе использовали известную нейронную сеть VGG. Каждый кадр видео они «снабжали» стилем конкретной картины. Алгоритм, который разработали ученые, анализировал разницу между последующими кадрами с временными ограничениями, отбраковывающими чрезмерные отличия.

Для плавного перехода, эти ограничения учитывали оптический поток оригинального видео, и отбраковывали отличия не по кадрам в целом, а по траекториям отдельных точек. Участки кадров, которые до этого были заслонены движущимися объектами, в отбраковку не включались.

Обработка каждого кадра проводилась параллельно графическим и основным процессорами с разрешением 1024×463 пикселя. Сначала весь процесс занимал около восьми минут на кадр, благодаря оптимизации среднее время снизилось до трех минут на кадр.

#Сверточные сети   #Глубокое обучение  
11 Мая