Нейросеть LL-Refiner улучшает ночные снимки с телефонов

Слабое освещение остаётся одной из самых сложных задач для камер смартфонов: даже флагманские устройства зачастую генерируют шумные кадры с потерей деталей при съёмке в темноте.

Двухэтапная архитектура обработки

Группа исследователей из Уханьского университета создала новую систему искусственного интеллекта под названием LL-Refiner. Её принцип работы отличается от традиционных подходов — вместо попытки одновременного улучшения всех аспектов изображения система применяет двухэтапную обработку.

На первом этапе используется нейросетевая архитектура на основе трансформера, работающая с уменьшенной версией исходного изображения. Эта стадия фокусируется на глобальных характеристиках: распределении освещённости, цветовой гамме и общей компоновке сцены.

Адаптивное восстановление деталей

Результат первого этапа передаётся на второй — здесь задействуется адаптивная уточняющая сеть, постепенно восстанавливающая мелкие детали: контуры объектов, текстуры поверхностей и сложные визуальные паттерны, пока не достигается полное разрешение исходного изображения.

Такой подход позволяет снизить вычислительную нагрузку при обработке высокодетализированных кадров, одновременно сохраняя элементы, которые обычно теряются из-за недостатка света.

Применимость за пределами ночной съёмки

Учёные протестировали LL-Refiner на реальных фотографиях, сделанных в условиях низкой освещённости, и сравнили его эффективность с рядом других методов улучшения изображений. По их данным, система продемонстрировала превосходство, особенно в сохранении чёткости областей с текстурами и мелкими деталями.

Проверка не ограничилась субъективной оценкой качества изображения «на глаз». Исследователи использовали улучшенные кадры в дополнительной задаче — оценке глубины сцены. Результаты показали, что изображения, обработанные LL-Refiner, позволяют получать более точные оценки глубины — параметр, критически важный для будущих применений в робототехнике и системах автономной навигации, полагающихся на камерные данные для понимания окружающей среды.

Перспективы внедрения в мобильные устройства

На текущем этапе LL-Refiner остаётся научным исследованием и экспериментальной разработкой, а не коммерческой функцией, доступной в смартфонах.

Однако данное исследование указывает на стратегический сдвиг в развитии мобильной фотосъёмки: увеличение количества пикселей само по себе не решает проблему съёмки в темноте. Будущее, вероятно, будет связано с более активным применением ИИ для реконструкции утраченных деталей и улучшения изображений таким образом, чтобы сохранялся естественный внешний вид, а не просто повышалась яркость.

Решение может заключаться не только в установке в смартфон камер с большими сенсорами или повышенным числом мегапикселей, но и в повышении «интеллекта» самого устройства при интерпретации данных, получаемых камерой в сложных условиях освещения.