6.7. Транспортный механизм Н.264

Кодированная видеопоследовательность в стандарте Н.264 состоит из единиц NAL, каждая из которых содержит элементы типа RBSP (табл. 6.19). Кодированные слои (включая слои деления данных и IDR-слои), а также концы последовательностей RBSP определяются как единицы VCL NAL, а все остальные элементы являются просто единицами NAL.

Рис. 6.56. Пример последовательности элементов RBSP.

На рис. 6.56 показан пример типичной последовательности единиц RBPS. Каждая из этих единиц передается в виде отдельной единицы NAL. Заголовок единицы NAL (один байт) сообщает тип RBPS, за которым следует тело единицы NAL.

Таблица 6.19. Элементы RBSP.

Тип RBSP	Описание
Параметрическое множество	Глобальные параметры последовательности: размер снимков, видеоформат, карта распределения макроблоков и т.п. (см. § 6.4.3)
Дополнительная уточняющая информация	Посторонние сообщения, которые не важны для корректного декодирования видеоряда
Ограничитель снимка	Граница между видеоснимками (опционная). Если она отсутствует, то декодер определяет границы на основе числа кадров, записанного в каждом заголовке слоя
Кодированный слой	Заголовок и данные слоя; этот RBSP содержит фактические видеоданные
Слои деления данных А, В и С	Три единицы, в которых хранятся части деления данных (удобны при защищенном от помех декодировании). Часть А содержит заголовок данных макроблоков слоя, часть В состоит из intra-кодированных данных, а часть С - из inter-кодированных данных
Конец последовательности	Указывает на то, что следующий кадр (в порядке декодирования) является снимком IDR (см. § 6.4.2). (Не существенно для корректного декодирования.)
Конец потока	Указывает на то, что за ним больше нет снимков битового потока. (Не существенно для корректного декодирования.)
Данные наполнения	Состоит из «холостых» данных (может служить для заполнения пустых мест в последовательности). (Не существенно для корректного декодирования.)

Параметрические множества. Стандарт Н.264 вводит понятие параметрического множества, в котором записывается информация, применяемая к большому семейству кодированных снимков. Параметрическое множество последовательности состоит из параметров, которые применяются к видеопоследовательности в целом (как к множеству кодированных последовательных снимков). Элементы этого параметрического множества включают идентификатор (seq_parameter_set_id), ограничители числа кадров и порядкового счетчика снимков, число ссылочных кадров, которые могут быть использованы при декодировании (включая ссылочные кадры с близкими и давними сроками), ширину и высоту кодируемых кадров, выбор прогрессивной или чересстрочной развертки кадров или полукадров. Параметрическое множество снимков состоит из параметров, которые применяются к одному или нескольким снимкам последовательности. Каждое параметрическое множество снимков включает (помимо прочих параметров) идентификатор (pic_parameter_set_id), выбранный параметр seq_parameter_set_id, флаг выбора энтропийного кодера VLC или САВАС, число используемых групп слоев (и определение типа карты групп слоев), число ссылочных снимков в списке 0 и в списке 1, которые могут использоваться в прогнозах, начальные параметры квантователя и флаг, указывающий, надо ли модифицировать параметры деблочного фильтра, принятые по умолчанию.

Обычно одно или несколько параметрических множеств последовательности и снимков посылаются декодеру до начала декодирования заголовков слоев и данных слоев. Закодированный заголовок слоя ссылается на pic_parameter_set_id, и этим он активирует данное параметрическое множество снимков. «Активированные» параметры снимков остаются в силе до тех пор, пока другое параметрическое множество снимков не будет активировано ссылкой на него в seq_parameter_set_id. Активированное параметрическое множество действует (т.е. его параметры применяются ко всем последующим снимкам) до тех пор, пока новое параметрическое множество последовательности не будет активировано.

Механизм параметрических множеств позволяет кодеру сигнализировать о важных, редко меняющихся параметрах последовательности и снимков отдельно от передачи самих кодированных слоев. Параметрическое множество может быть послано задолго до того, как некоторый слой сошлется на него, или его можно переслать другим транспортным механизмом (например, по другому надежному каналу связи или даже путем его прошивки в «железной» реализации декодера). Каждый кодированный слой может «вызвать» нужное ему параметрическое множество с помощью соответствующего сигнала VLC (pic_parameter_set_id) в своем заголовке.

Передача и хранение единиц NAL. Метод передачи единиц NAL не специфицирован стандартом, но некоторые различия сделаны между передачей на основе пакетного транспортного механизма (т.е. в пакетных сетях) и передачей с помощью непрерывных потоков данных (например, в сетях с коммутацией каналов). В сетях на основе пакетной передачи каждая единица NAL может доставляться отдельным пакетом, и поэтому она должна быть организована в виде правильной последовательности до начала декодирования. В сети с коммутацией каналов перед каждой единицей NAL помещается стартовый префикс (однозначно декодируемый ограничительный код) для организации потока байтов до начала передачи. Это дает возможность декодеру идентифицировать поток, обнаружив стартовый префикс, который означает начало единицы NAL.

В типичном приложении бывает необходимо передать или сохранить закодированное видео вместе с ассоциированными звуковыми дорожками и другой сторонней информацией. Для этих целей можно использовать различные транспортные механизмы, такие как протокол реального времени и пользовательский дейтаграмный протокол RTP/UDP (Real Time Protocol/User Datagram Protocol). Поправка к системам MPEG-2 специфицирует механизм транспортировки видео стандарта Н.264 (см. гл. 7), а рекомендация ITU-T Н.261 определяет процедуры для использования Н.264 совместно с мультимедийными терминалами Н.32х. Многим приложениям требуется хранение мультиплексного видео, аудио и связанной информации (например, проигрыватели потокового медиа, проигрыватели DVD). Ожидаемая вскоре поправка к системам MPEG-4 (Part 1) специфицирует, как кодированные в Н.264 данные и ассоциированные медиапотоки можно будет хранить с помощью файлового формата ISO Media File Format (см. гл. 7).