§ 2. Однопараметрическое семейство разделяющих гиперплоскостей

Введем еще одно определение.

Определение. Будем говорить, что пара определяет нормально ориентированную разделяющую гиперплоскость, если наряду с неравенством (14.2') выполняется условие

Нетрудно видеть, что если два конечных множества векторов и разделимы гиперплоскостью, то существует нормально ориентированная гиперплоскость, которая отделяет либо множество от множества , либо множество от .

Рассмотрим систему неравенств

. (14.3)

Будем считать величину допустимой, если система (14.3) имеет хотя бы одно решение. Очевидно, что если – допустимое значение параметра, то и любое значение также допустимо.

Каждому значению , удовлетворяющему (14.3), поставим в соответствие гиперплоскость

Очевидно, что при эта гиперплоскость нормально ориентирована и отделяет от . Обратно, если множества и разделимы нормально ориентированной гиперплоскостью, то существует допустимое значение .

Действительно, пусть – направляющий вектор этой гиперплоскости; при этом и . Тогда

удовлетворяют (14.3), причем .

Определение. Назовем минимальный по модулю вектор , удовлетворяющий неравенствам (14.3) при заданном допустимом , обобщенном портретом множества относительно для данного значения .

Поясним это понятие.

Рассмотрим случай, когда класс пуст. Тогда минимальный по модулю вектор, удовлетворяющий неравенствам

, (14.4)

коллинеарен единичному вектору , доставляющему

Иными словами, вектор задает среднее в минимаксном смысле направление векторов класса (рис. 24). Это обстоятельство оправдывает название «обобщенный портрет».

Рис. 24.

Приведенное определение обобщенного портрета является естественным обобщением этого понятия на случай, когда в обучающей выборке представлены оба класса.

Теорема 14.2. При каждом допустимом значении обобщенный портрет существует и единствен.

Доказательство. Поскольку значение допустимо, найдется вектор , удовлетворяющий (14.3). Рассмотрим множество векторов , удовлетворяющих наряду с (14.3) условию . Это множество не пусто, ограничено, замкнуто и выпукло. Поэтому сильно выпуклая функция имеет на нем единственный минимум . Очевидно также, что вне шара все векторы имеют модуль больше . Отсюда следует доказываемое утверждение.

Таким образом, обобщенные портреты, имеющие различные , образуют однопараметрическое семейство, которое мы условимся обозначать .

При ему соответствует семейство разделяющих гиперплоскостей

. (14.5)

Теорема 14.3. Если оптимальная разделяющая гиперплоскость нормально ориентирована, то она принадлежит однопараметрическому семейству (14.5).

Доказательство. Пусть – направляющий вектор оптимальной разделяющей гиперплоскости и при этом . Положим

, (14.6)

и покажем, что вектор совпадает с обобщенным портретом .

Прежде всего, убедимся, что пара удовлетворяет (14.3). Действительно,

Далее, если , то в силу единственности обобщенного портрета

. (14.7)

Рассмотрим вектор . Из (14.3) следует, что

и, значит,

Далее, в силу (14.7)

Окончательно, поскольку , получаем , что противоречит определению оптимальной разделяющей гиперплоскости. Итак, . Теперь из определения и (14.6) немедленно следует, что гиперплоскости

совпадают. Теорема доказана.

Замечание. Из доказательства теоремы следует, что