NVIDIA представила инструмент для восстановления изображений

Новая технология на основе искусственного интеллекта дает поразительные результаты.

NVIDIA продемонстрировала новую технологию на основе искусственного интеллекта, которая удивительно реалистично восстанавливает изображения. В этом 2-минутном видео компания знакомит со своей разработкой и приводит поразительные примеры его работы:

Что удивительно, инструмент NVIDIA не просто получает информацию от ближайших пикселей, чтобы восстановить пробелы в изображении (как это делает Photoshop) – она понимает, как должен выглядеть восстанавливаемый объект.

Например, при использовании инструмента “Заливка с учетом содержимого” для восстановления глаза на портрете, Photoshop заполнит пробел, используя окружающие черты – кожу, бровь, нос. Инструмент NVIDIA использует глубокое обучение и “знает”, что на этом месте должен быть глаз – и заполняет его сгенерированным программой глазом.

Вот пример работы обоих инструментов с портретом, где отсутствует большое количество пикселей.

Портрет с большим числом пробелов

Вот что получится в Photoshop, при использовании инструмента “Заливка с учетом содержимого”:

А вот что делает технология NVIDIA:

Хотя результат и не идеален, он значительно ближе к оригиналу, чем восстановление в Photoshop, на основе окружающих пикселей:

Оригинальное фото

Новый инструмент может использоваться как для восстановления пустых мест на изображении, так и для удаления существующих на нем объектов.

Исследователи из NVIDIA опубликовали работу, посвященную этой разработке – найти ее можно здесь.

“Наша модель способна качественно заполнять пробелы любой формы в любом месте и на любом расстоянии от края изображения, – говорится в ней. – Прежние же подходы с использованием глубокого обучения работали главным образом с прямоугольными регионами в центре изображения, и часто основывались на дорогой постобработке. Кроме того, наша модель хорошо справляется с пустотами крупных размеров”.

Разработчики обучили свой ИИ с помощью 55 116 рандомных масок пустот на большом количестве изображений. Изучая версии с пропущенными местами и оригинальные изображения, нейросеть научилась восстанавливать отсутствующие пиксели на фото. Для тестовой фазы использовались дополнительные 25 тысяч масок.

Вот еще несколько примеров того, как технология NVIDIA восстанавливает сильно поврежденные изображения:

Правда, пока нет никакой информации, будет ли эта технология использоваться в реальном программном обеспечении, и если да, то когда.