7.3. Вход и выход

7.3.1. Сопряжение процессов

На рис. 7.17 изображена система обработки видео, в которой происходит кодирование, передача или сохранение и декодирование видеокадров. На входе кодера (А) и на выходе декодера (D) видеоданные заданы в несжатом цифровом виде, т.е. каждый кадр представлен в виде множества сэмплов, обычно в цветовом пространстве YCbCr, в одном из допустимых форматов сэмплирования, описанных в гл. 2 (4:4:4, 4:2:2 или 4:2:0). Существует много способов комбинирования трех компонент цветности в кадре, например перемежение (кадры сэмплов Y, Сb и Сr перемежаются в растровом порядке), соединение (за компонентой Y в кадре следуют компоненты Cb и Сr) и использование различных буферных областей для раздельного хранения трех компонент. Выбор метода зависит от конкретного приложения. Например, метод раздельного хранения компонент Y, Сb и Сr может использоваться в программных кодеках, а в аппаратных кодеках, имеющих определенные ограничения на объем буферов хранения и на временные задержки, может применяться формат с перемежением.

Рис. 7.17. Сопряжение процессов в кодеке.

На выходе кодера (В) и на входе декодера (С) видеоданные закодированы в виде последовательности битов. В обоих стандартах Н.264 и MPEG-4 используются коды постоянной длины, коды переменной длины или коды арифметического кодирования для представления синтаксических элементов сжатой видеопоследовательности. Закодированный битовый поток состоит из непрерывной последовательности битов, внутри которой помещены некоторые специальные «маркерные» коды постоянной длины. Методы отображения битового потока на механизмы передачи или хранения видеоданных делятся на следующие типы.

Бит-ориентированные: Если механизм доставки способен обращаться с произвольным числом бит, то битовый поток можно передавать непосредственно (опционно допуская мультиплексирование, т.е. сочетание с другими ассоциированными потоками, например с закодированным звуком или со «сторонней» информацией).

Байт-ориентированные: Многие механизмы доставки (например, хранение файлов или передача сетевых пакетов) представляют данные путем их отображения в конечное множество байтов или слов. В этом случае бывает необходимо добавлять биты в кодированные данные в конце соответствующих единиц (например, слоев, кадров, VOP или последовательностей) для получения общего числа битов, кратного длине байта или слова.

Пакетно-ориентированные: Стандарты Н.264 и MPEG-4 поддерживают концепцию, в соответствии с которой каждая кодовая единица помещается в отдельный сетевой пакет. Видеопакет или пакетная единица NAL содержит данные, которые соответствуют дискретным единицам кодирования типа слой (полные кадры, видеообъекты VOP или части кадров или VOP) (см. § 6.7).