Матрица с искусственным интеллектом: что это и для чего нужна

Sony представила первые в мире сенсоры изображения с искусственным интеллектом. Речь идёт о паре матриц IMX500 и IMX501. Они имеют формат 1/1,23” и разрешение 12,3 мегапикселя, а также способны снимать видео с разрешением 4К и частотой до 60p. Матрицы изготовлены по технологии с обратной засветкой. Разбираемся, зачем это нужно и как работает.

Секрет IMX500 и IMX501 кроется во втором слое. Сенсор состоит из двух чипов — чипа пикелей и логической микросхемы, где и «живёт» искусственный интеллект. Нечто подобное мы ранее видели, например, в Sony A9 и последующих моделях. Там на нижнем чипе располагалась скоростная память.

От обычных сенсоров изображения новые отличаются тем, что кроме изображений способны выдавать метаданные, созданные искусственным интеллектом. Возможен и другой вариант: выводить только метаданные без изображений. Такой подход резко снижает объём передаваемой информации и гарантирует неприкосновенность частной жизни, ведь сама «картинка» не покидает пределов матрицы. И съёмка, и её анализ проходят даже не в одном устройстве, а в одной многослойной микросхеме. Яркий пример — точный подсчет числа посетителей магазина без сохранения их изображений.

Применение таких матриц для решения прикладных задач кажется очень перспективным. Но давайте пофантазируем и предположим, что подобные сенсоры завтра появятся и в фотоаппаратах. Совершенно точно они упростят работу по каталогизации кадров и даже их описанию, ведь камера будет досконально знать ещё на этапе съёмки, что именно фотографирует. Высокая скорость получения и обработки информации помогут задействовать искусственный интеллект и в установке съёмочных параметров: автофокус, экспозиция, баланс белого и т.п.

Мы уверены, что это лишь вершина айсберга, и Sony скоро удивит нас чем-то действительно новым. Ведь не просто так компания полгода назад выделила работы по искусственному интеллекту в отдельное подразделение.