NVIDIA представила инструмент для восстановления изображений

Новая технология на основе искусственного интеллекта дает поразительные результаты.

NVIDIA продемонстрировала новую технологию на основе искусственного интеллекта, которая удивительно реалистично восстанавливает изображения. В этом 2-минутном видео компания знакомит со своей разработкой и приводит поразительные примеры его работы:

Что удивительно, инструмент NVIDIA не просто получает информацию от ближайших пикселей, чтобы восстановить пробелы в изображении (как это делает Photoshop) — она понимает, как должен выглядеть восстанавливаемый объект.

Например, при использовании инструмента “Заливка с учетом содержимого” для восстановления глаза на портрете, Photoshop заполнит пробел, используя окружающие черты — кожу, бровь, нос. Инструмент NVIDIA использует глубокое обучение и “знает”, что на этом месте должен быть глаз — и заполняет его сгенерированным программой глазом.

Вот пример работы обоих инструментов с портретом, где отсутствует большое количество пикселей.

NVIDIA представила инструмент для восстановления изображений
Портрет с большим числом пробелов

Вот что получится в Photoshop, при использовании инструмента “Заливка с учетом содержимого”:

NVIDIA представила инструмент для восстановления изображений

А вот что делает технология NVIDIA:

NVIDIA представила инструмент для восстановления изображений

Хотя результат и не идеален, он значительно ближе к оригиналу, чем восстановление в Photoshop, на основе окружающих пикселей:

NVIDIA представила инструмент для восстановления изображений
Оригинальное фото

Новый инструмент может использоваться как для восстановления пустых мест на изображении, так и для удаления существующих на нем объектов.

Исследователи из NVIDIA опубликовали работу, посвященную этой разработке — найти ее можно здесь.

“Наша модель способна качественно заполнять пробелы любой формы в любом месте и на любом расстоянии от края изображения, — говорится в ней. — Прежние же подходы с использованием глубокого обучения работали главным образом с прямоугольными регионами в центре изображения, и часто основывались на дорогой постобработке. Кроме того, наша модель хорошо справляется с пустотами крупных размеров”.

Разработчики обучили свой ИИ с помощью 55 116 рандомных масок пустот на большом количестве изображений. Изучая версии с пропущенными местами и оригинальные изображения, нейросеть научилась восстанавливать отсутствующие пиксели на фото. Для тестовой фазы использовались дополнительные 25 тысяч масок.

Вот еще несколько примеров того, как технология NVIDIA восстанавливает сильно поврежденные изображения:

NVIDIA представила инструмент для восстановления изображений

NVIDIA представила инструмент для восстановления изображений

NVIDIA представила инструмент для восстановления изображений

NVIDIA представила инструмент для восстановления изображений

Правда, пока нет никакой информации, будет ли эта технология использоваться в реальном программном обеспечении, и если да, то когда.