7.3.3. Последующая обработка

Алгоритмы видеокомпрессии, которые используют квантование (например, базовые профили MPEG-4 Visual и Н.264), являются по своей природе методами сжатия с потерей информации, т.е. декодированные видеокадры не идентичны исходным. Целью любого практического кодека является минимизация искажений и максимизация степени сжатия. Часто имеется возможность сократить фактические и явные искажения в декодированной видеопоследовательности, обработав (отфильтровав) подходящим методом декодированные кадры. Если отфильтрованные декодированные кадры будут затем использоваться при компенсации движения, то процесс фильтрации может дать дополнительные преимущества, которые позволят улучшить прогноз компенсации движения, а значит, повысить степень сжатия.

Кодеки, основанные на блочных преобразованиях, вносят характерные типы искажений в декодированные видеоданные. Нижняя половина рис. 7.19 показывает типичное расхождение в кадре, кодированном и декодированном простым профилем MPEG-4 (а верхняя половина - это исходная, несжатая часть кадра). На этом примере видны артефакты «блочности» (происходящие из-за расхождений по границам реконструированных блоков 8 х 8) и «звонов" (слабые теневые структуры вдоль сторон объектов, возникающие по причине «прорыва" через базисные элементы DCT). Блочность, по-видимому, представляет собой наиболее очевидный (а значит, и самый важный) тип визуальных искажений, вносимых видеосжатием. Рисунок 7.20 (нижняя половина) дает результат кодирования и декодирования по стандарту Н.264 с применением цикла фильтрации. Меньший размер блока преобразования в Н.264 (4 x 4 вместо 8x8 сэмплов) означает, что артефакты блочности будут меньше но они все равно остаются заметными.

Рис. 7.19. Искажения, вносимые кодированном MPEG-4 Visual (нижняя половина).

Рис. 7.20. Искажения вносимые кодированием Н.264 (нижняя половина).

Рис. 7.21. Реализация фильтрации при последующей обработке.

Рис. 7.22. Реализация фильтрации внутри «цикла».

В практических кодеках широко применяется фильтрация для сокращения артефактов блочности и/или звонов. Было разработано много различных фильтрующих модулей: от сравнительно простых функций до итеративных алгоритмов, которые являются во много раз более сложными, чем сами алгоритмы кодирования и декодирования [31 - 34]. Такие фильтры служат для минимизации эффектов блочности и звонов при сохранении важных черт изображений. MPEG-4 Visual описывает деблокирующий фильтр и фильтр удаления звонов: эта часть стандарта является «информационной», т.е. необязательной при реализации, опционной. Оба фильтра разрабатывались для их применения после декодирования (рис. 7.21). При такой постфильтрации в качестве ссылочных кадров для прогнозов компенсации движения используются нефильтрованные декодированные кадры. Это означает, что фильтры улучшают визуальное качество декодированного видеоряда, но не влияют на процессы кодирования и декодирования.

Возможно, более предпочтительным будет размещение фильтра внутри «цикла» кодирование - декодирование (рис. 7.22). На стороне декодера декодированный и отфильтрованный кадр хранится для реконструкции компенсации движения. Чтобы гарантировать использование кодером идентичного ссылочного кадра, необходимо применять в точности такой же фильтр во время реконструкции кодером закодированного кадра перед его использованием в прогнозах будущих кадров. Если отфильтрованный кадр будет иметь лучшее визуальное качество по сравнению с исходным, нефильтрованным кадром, то это позволит найти лучшие прогнозы для новых кадров, которые будут иметь остатки меньшей энергии, и это, в свою очередь, повысит эффективность компрессии видеоданных. В стандарте Н.264 такая схема фильтрования встроена внутрь цикла (см. гл. 6, где этот алгоритм детально описан). Неудобство такой схемы заключается в том, что соответствующая процедура фильтрования должна быть описана стандартом (чтобы любой декодер мог бы успешно ее повторить), что ограничивает возможность разработки новых улучшенных методов фильтрования.