Нейросеть научилась рисовать Камбербетча на месте Мона Лизы

Американские разработчики научили нейросеть раскрашивать изображения, вставленные в картину, таким образом, чтобы те смотрелись естественно с точки зрения стиля и цвета. Препринт с описанием статьи есть на arXiv.org.

Для примера они показали лицо актера Бенедикта Камбербэтча, вставленное в «Мона Лизу» вместо лица женщины. Нейросеть занималась именно подгонкой.

Добавить объект на фотографию очень просто, с ней с легкостью справится любой редактор. Предыдущие алгоритмы позволяют стилизовать картину под определенный стиль, но вот свести разный стиль в одно они не в состоянии

Именно эту задачу решила группа из Корнеллского университета и Adobe Research под руководством Фужуна Луана.

Проблема в том, что если, допустим, необходимо вставить Эйфелеву башню в картину Моне, то эта башня должна быть отрисована соответствующим образом, такими красками и на таком месте, чтобы она не выбивалась из общего фона. Представленный алгоритм сначала помещает изображение на картину, затем сопоставляет цвет объекта с цветом окружения, а на третьем шаге избавляет продукт от артефактов и моделирует текстуру.

Авторы работы отметили, что высокого качества изображения удалось добиться благодаря работе с локальными областями. Из 17 картин опрошенные добровольцы высоко оценили перенос объекта по сравнению с аналогичными методами.