7.6. ЭНТРОПИЯ ИЗОБРАЖЕНИЙОчевидно, что одни изображения являются более содержательными, чем другие, т. е. имеют больше деталей или при анализе из них удается извлечь больше данных. Детали, данные и другие подобные понятия являются качественными и довольно расплывчатыми. Поэтому часто бывает необходимо ввести количественные характеристики изображения, позволяющие оценивать предельные свойства алгоритмов кодирования, исправления и анализа изображений. Один из подходов к количественному описанию изображений состоит в применении теории информации [39-42]. Согласно методике, описанной в разд. 5.3, допустим, что матрица В 1948 г. Шеннон [39] опубликовал свою знаменитую книгу «Математическая теория связи», в которой был дан способ количественного описания свойств источников данных и систем передачи информации. В основе шенноновской теории информации лежит понятие об энтропии. При векторном описании изображения среднее количество информации в изображении равно энтропии источника:
В данном определении энтропии применяются логарифмы с основанием два и энтропия измеряется в двоичных единицах. Энтропию источника полезно знать при кодировании изображений, поскольку согласно теореме о кодировании при отсутствии помех [39], теоретически можно закодировать без искажений изображения, создаваемые источником с энтропией Вероятность появления
где
Логарифмируя обе части равенства (7.6.3) по основанию два и учитывая определение энтропии (7.6.1), получаем
В равенстве (7.6.4)
Это выражение, описывающее энтропию источника изображений, является общим и не зависит от того, в каком порядке берутся элементы изображения. Рассмотрим теперь вид формулы (7.6.5) для двух случаев: 1) изображение развертывается по столбцам и 2) когда все элементы изображения поступают одновременно. Можно показать, что при развертке изображения по столбцам
где Если пренебречь малосущественными для достаточно крупных изображений краевыми эффектами, то энтропию изображения можно приближенно выразить в виде
Таким образом, можно считать, что энтропия всего изображения равна предельному значению условной энтропии одного элемента изображения, умноженному на полное число элементов. В системах с разверткой изображения предельная условная энтропия определяется на основе конечной последовательности предыдущих элементов. Так, если этих элементов было
В явной форме
где совместное распределение вероятностей
( Таблица 7.6.1. Оценки энтропии изображения, полученные Шрайбером
Шрайбер [43] оценил энтропию первого, второго и третьего порядка для нескольких изображений, квантованных на 64 уровня, измеряя распределения относительных частот того же порядка. Полученные распределения были подставлены в формулу (7.6.10) вместо соответствующих распределений вероятностей. При таком способе измерений предполагается, что источник изображений является стационарным и эргодическим, т. е. усреднение по ансамблю изображений можно заменить усреднением по отдельному изображению. Результаты измерений, проведенных Шрайбером для конкретного изображения, приведены в табл. 7.6.1. Для кодирования этого изображения с помощью обычной ИКМ требуются шестиразрядные кодовые слова, т. е. затрачивается 6 бит/элемент. Теоретически для его кодирования достаточно 4,4 бит/элемент при условии, что все элементы кодируются по отдельности. Если же использовать значение предыдущего элемента, то теоретический предел уменьшится до 1,9 бит/элемент. Иначе говоря, предыдущий элемент дает 2,5 бита информации об элементе Выше был описан метод оценки энтропии изображения, развернутого по столбцам, при котором предельная условная энтропия Допустим, что
Повторяя рассуждения, которые привели к соотношению (7.6.7), энтропию источника изображений можно выразить приближенным равенством
Полученное «двустороннее» выражение для условной энтропии можно в свою очередь аппроксимировать, учитывая только ближайшие элементы столбца:
Развивая эту идею, можно включить в выражение для оценки энтропии все элементы вектора, которые имеют достаточно сильные статистические связи с
где Прейс [44] вычислял энтропию двухградационных факсимильных документов, используя несколько предшествующих элементов развертки. К сожалению, из-за чрезмерного объема необходимых вычислений трудно оценить энтропию многоградационных изображений даже с использованием упрощенной формулы (7.6.14). Для вычислений по этой формуле необходимо получить распределение частот пятого порядка, причем число возможных значений каждого аргумента равно числу уровней квантования яркости. Приходится делать печальный вывод, что вычисление энтропии в принципе позволяет оценивать «содержательность» изображения, однако для многоградационных изображений такие вычисления практически невыполнимы.
|