ИИ выводит шумоподавление на новый уровень

Исследователи обучили нейросеть значительно улучшать качество снимков, сделанных при слабом освещении.

При съемке в условиях низкой освещенности на низких значениях ISO и с длинными выдержками обязательно потребуется штатив; к тому же движущиеся предметы в кадре будут размытыми. Если же снимать в тех же условиях на высоких ISO, с короткой выдержкой, то качество картинки падает, появляется много цифрового шума. Новый алгоритм работы искусственного интеллекта позволяет взять лучшее от обоих вариантов: качество низких значений ISO и короткие выдержки.

В новой публикации группы ученых из Иллинойского университета в Урбане-Шампейне и компании Intel рассказывается о том, как исследователи научили ИИ улучшать качество снимков, сделанных при слабом освещении. Результат — гораздо более чистые и пригодные для использования фотографии, чем те же самые кадры, снятые “обычным” способом, с высоким значением ISO. Работа называется Learning to See in the Dark (“Учась видеть в темноте”).

Программе представили множество пар снимков, где каждая пара состояла из RAW-фотографий с короткой и длинной выдержкой.

ИИ выводит шумоподавление на новый уровень
На заднем плане — фото с короткой выдержкой (практически черные), на переднем — с длинной

С помощью этих пар нейронная сеть училась создавать эквиваленты изображений с длинной выдержкой из RAW-изображений, снятых с короткой экспозицией.

Результаты впечатляют: из файлов RAW, обработанных с помощью обученного ИИ, удалось получить снимки с гораздо меньшим шумом и гораздо более точной цветопередачей, чем могут дать кадры, снятые на высоких ISO.

Пример 1

ИИ выводит шумоподавление на новый уровень
Фото, снятое на камеру, ISO 8000
ИИ выводит шумоподавление на новый уровень
Та же самая сцена, ISO 409600
ИИ выводит шумоподавление на новый уровень
Снимок на ISO 8000, пропущенный через новый алгоритм ИИ

Пример 2

ИИ выводит шумоподавление на новый уровень
Fuji X-T2, ISO 640, f/8, 1/30 с, традиционная обработка и масштабирование
ИИ выводит шумоподавление на новый уровень
Те же самые данные RAW, после обработки ИИ

Пример 3

ИИ выводит шумоподавление на новый уровень
Sony a7S II, ISO 2000, f/9, 1/10 с, традиционная обработка и масштабирование
ИИ выводит шумоподавление на новый уровень
Те же самые данные RAW, после обработки ИИ

Пример 4

ИИ выводит шумоподавление на новый уровень
Sony a7S II, ISO 2000, f/9 1/10 с, традиционная обработка и масштабирование
ИИ выводит шумоподавление на новый уровень
Те же самые данные RAW, после обработки ИИ

Пример 5

ИИ выводит шумоподавление на новый уровень
Sony a7S II, ISO-640, f/13, 1/10 с, традиционная обработка и масштабирование
ИИ выводит шумоподавление на новый уровень
Те же самые данные RAW, после обработки ИИ

Пример 6

ИИ выводит шумоподавление на новый уровень
Sony a7S II, ISO 6400, f/5.6, 1/25 с, традиционная обработка и масштабирование
ИИ выводит шумоподавление на новый уровень
Те же самые данные RAW, после обработки ИИ

Другие сравнительные примеры и технические детали эксперимента представлены на сайте проекта.

“Эксперименты демонстрируют многообещающие результаты: успешное подавление шума и верное преобразование цветов”, — пишут авторы, но отмечают, что это лишь верхушка айсберга. Эта работа закладывает основу для дальнейших исследований. Например, попытаться научить ИИ самостоятельно определять оптимальное значение ISO для каждого конкретного изображения.