ИИ выводит шумоподавление на новый уровень

Исследователи обучили нейросеть значительно улучшать качество снимков, сделанных при слабом освещении.

При съемке в условиях низкой освещенности на низких значениях ISO и с длинными выдержками обязательно потребуется штатив; к тому же движущиеся предметы в кадре будут размытыми. Если же снимать в тех же условиях на высоких ISO, с короткой выдержкой, то качество картинки падает, появляется много цифрового шума. Новый алгоритм работы искусственного интеллекта позволяет взять лучшее от обоих вариантов: качество низких значений ISO и короткие выдержки.

В новой публикации группы ученых из Иллинойского университета в Урбане-Шампейне и компании Intel рассказывается о том, как исследователи научили ИИ улучшать качество снимков, сделанных при слабом освещении. Результат – гораздо более чистые и пригодные для использования фотографии, чем те же самые кадры, снятые “обычным” способом, с высоким значением ISO. Работа называется Learning to See in the Dark (“Учась видеть в темноте”).

Программе представили множество пар снимков, где каждая пара состояла из RAW-фотографий с короткой и длинной выдержкой.

На заднем плане – фото с короткой выдержкой (практически черные), на переднем – с длинной

С помощью этих пар нейронная сеть училась создавать эквиваленты изображений с длинной выдержкой из RAW-изображений, снятых с короткой экспозицией.

Результаты впечатляют: из файлов RAW, обработанных с помощью обученного ИИ, удалось получить снимки с гораздо меньшим шумом и гораздо более точной цветопередачей, чем могут дать кадры, снятые на высоких ISO.

Пример 1

Фото, снятое на камеру, ISO 8000
Та же самая сцена, ISO 409600
Снимок на ISO 8000, пропущенный через новый алгоритм ИИ

Пример 2

Fuji X-T2, ISO 640, f/8, 1/30 с, традиционная обработка и масштабирование
Те же самые данные RAW, после обработки ИИ

Пример 3

Sony a7S II, ISO 2000, f/9, 1/10 с, традиционная обработка и масштабирование
Те же самые данные RAW, после обработки ИИ

Пример 4

Sony a7S II, ISO 2000, f/9 1/10 с, традиционная обработка и масштабирование
Те же самые данные RAW, после обработки ИИ

Пример 5

Sony a7S II, ISO-640, f/13, 1/10 с, традиционная обработка и масштабирование
Те же самые данные RAW, после обработки ИИ

Пример 6

Sony a7S II, ISO 6400, f/5.6, 1/25 с, традиционная обработка и масштабирование
Те же самые данные RAW, после обработки ИИ

Другие сравнительные примеры и технические детали эксперимента представлены на сайте проекта.

“Эксперименты демонстрируют многообещающие результаты: успешное подавление шума и верное преобразование цветов”, – пишут авторы, но отмечают, что это лишь верхушка айсберга. Эта работа закладывает основу для дальнейших исследований. Например, попытаться научить ИИ самостоятельно определять оптимальное значение ISO для каждого конкретного изображения.