Улучшение видео

… с камер наблюдения и автомобильных регистраторов. Мифы и реальность.

Увеличьте это

Много времени прошло с того момента, как я услышал впервые в телефонной трубке: «У меня есть запись с камеры наблюдения, была авария на стоянке гипермаркета, нужно увеличить номер автомобиля виновника». Или: «У нас есть видео преступления, помогите восстановить лицо подозреваемого»… «Помогите увеличить гос. номер с автомобильного видеорегистратора».

Хотя в перечне услуг студии нет обработки видео (кроме оцифровки), в ряде случаев я, движимый желанием помочь, соглашался попробовать улучшить видео снятое видеорегистраторами (в основном) и камерами видеонаблюдения (сильно реже).

После ознакомления с рядом таких видеоматериалов я отказался от этих попыток. Я пытался объяснить, что на видео, снятом в тёмное время суток, с расстояния в 20 метров, просто нет графической информации с которой можно работать, но у меня часто оставалось чувство, что я не смог убедить клиентов. Кажется, они думали, что их видео в порядке, просто мы не умеем с ним работать.

Теперь я отвечаю, что мы эту услугу не оказываем (что является чистой правдой) — так оказалось проще и быстрее закончить эту бесполезную для сторон беседу.

Магия кино

Уверенность клиентов в возможности сделать графику любого качества детализированной, а номера автомобилей читаемыми появилась не на пустом месте. Виноваты в возникновении этого заблуждения кинофильмы и сериалы. Ведь в кинореальности в криминалистической лаборатории всегда наготове грамотный специалист-«компьютерщик», а в компьютеры уже загружены лучшие алгоритмы для улучшения изображения.

Пристально вглядывающийся в экран монитора следователь командует криминалисту за клавиатурой: «Крупнее… ещё крупнее… ещё…. ага, попался!» — все присутствующие с торжеством рассматривают лицо преступника в отражении в очках (как вариант — в зрачке) жертвы… Такие сцены стали штампом в современном кино и огромное количество людей в мире искренне убеждены, что увеличить фрагмент кадра дешевой камеры или дешевого видеорегистратора — это очень просто.

Реальность

Большинство видео, фрагменты кадра которых просят увеличить — снято как раз такими недорогими устройствами и в условиях, отличных от идеальных (мало света, осадки, засветка фарами и пр.). Всё это вкупе лишает возможности различить детали изображение в кадре. Иногда на таком видео трудно определить марку и модель автомобиля в кадре, не то что рассмотреть его номер.

В этом изображении номер автомобиля имеет размер 12 х 5 пикселей.

Изображение состоит из отдельных точек (пикселей) различных цветов или оттенков. Можно увеличивать это изображение сколь угодно сильно — но вы увеличиваете только размер пикселей, а не разрешение изображения. Естественно, это не приводит к увеличению чёткости. Не существует способа «убитую» шумом и сжатием картинку высотой в 3 пикселя превратить в читаемую комбинацию цифр и букв.

Перспективы

Технология улучшения изображения (восстановления видео) действительно существует, увеличение разрешения обычно называют Super Resolution (SR). Современные алгоритмы позволяют добиться увеличения разрешения в 2-4 раза, но ни о каких 50-100 крат (как показывают в кино) речи не идёт. Кроме того, на сегодняшний день эти алгоритмы бесполезны при восстановлении видео с высокой степенью сжатия (с существенными артефактами сжатия), таким как у большинства камер видеонаблюдения и видеорегистраторов.

Возможно, следующие поколения этих устройств избавятся от части своих недостатков. Производители переходят на новые стандарты сжатия видео, при том же битрейте обеспечивающие лучшее качество. Накопители данных (карты памяти, жёсткие диски) дешевеют, доступный битрейт видео увеличивается. Технологии Super Resolution развиваются, возможно в будущем появится возможность добиваться хороших результатов и при восстановлении сжатого видео.

Жаль разочаровывать тех, кто верит в магию показанную нам в кино, но всё это — результат буйной фантазии сценаристов. Правда в том, что из нерезкого, с существенными артефактами сжатия и сильным шумом и/или муаром видео невозможно получить изображение с достоверными мелкими деталями. Если вы, глядя на изображение, не можете с высокой долей уверенности распознать цифры на гос. номере автомобиля — маловероятно, что компьютерная обработка вам поможет.