Разработана камера с AI, способная снимать в цвете в полной темноте
Ученые из Калифорнийского университета в Ирвайне разработали систему камер, сочетающую искусственный интеллект (AI) с инфракрасной камерой для получения полноцветных фотографий даже в полной темноте.
Человеческое зрение воспринимает свет в так называемом «видимом спектре», то есть в диапазоне длин волн от 300 до 700 нанометров. Инфракрасный свет существует за пределами 700 нанометров и невидим для людей без помощи специальной технологии, и многие системы ночного видения могут обнаруживать инфракрасный свет и преобразовывать его в цифровой дисплей, который обеспечивает людям монохромное изображение.
Ученые попытались сделать еще один шаг в этом процессе и объединили эти инфракрасные данные с алгоритмом ИИ, который предсказывает цвет для визуализации изображений так же, как если бы свет существовал в видимом спектре.
«Мы стремились разработать алгоритм визуализации, основанный на оптимизированных архитектурах глубокого обучения, с помощью которого можно было бы использовать инфракрасное спектральное освещение сцены для прогнозирования рендеринга сцены в видимом спектре, как если бы она воспринималась человеком с помощью света видимого спектра», — объясняют ученые в исследовательской статье, опубликованной в Plos One.
Для достижения своей цели ученые использовали монохроматическую камеру, чувствительную к видимому и ближнему инфракрасному свету, чтобы получить набор данных изображений печатных изображений лиц при мультиспектральном освещении, охватывающих стандартный видимый красный (604 нм), зеленый (529 нм), синий (447 нм), а также инфракрасные длины волн (718, 777 и 807 нм).
«Обычные камеры собирают синие (B), зеленые (G) или красные (R) пиксели данных для создания цветного изображения, воспринимаемого человеческим глазом. Мы исследовали, можно ли обработать комбинацию инфракрасных источников света в красном и ближнем инфракрасном (NIR) спектрах с помощью глубокого обучения, чтобы перекомпоновать изображение с таким же внешним видом, как если бы оно было визуализировано с помощью света видимого спектра. Мы установили контролируемый визуальный контекст с ограниченным количеством пигментов, чтобы проверить нашу гипотезу о том, что можно отображать сцены, видимые человеку, с использованием NIR-подсветки, которая невидима для человеческого глаза».
Команде удалось оптимизировать нейронную сеть, чтобы предсказывать изображения видимого спектра только на основе информации ближнего инфракрасного диапазона. Исследование — это то, что они описывают как первый шаг к предсказанию человеческого зрения с помощью ближнего инфракрасного освещения.
«Дальнейшая работа может внести значительный вклад в различные приложения, включая ночное видение и исследования биологических образцов, чувствительных к видимому свету», — говорят ученые.
Несмотря на впечатляющие первоначальные результаты, ИИ неполный. Сейчас система может успешно работать только с человеческими лицами. Тем не менее, с большим количеством входных данных и дальнейшим обучением нет оснований полагать, что система не сможет стать еще более точной и надежной.