4.12.7.3. Эволюция правил обучения

Известно, что для различных архитектур и задач обучения требуются различные алгоритмы обучения. Поиск оптимального (или почти оптимального) правила обучения, как правило, происходит с учетом экспертных знаний и часто - методом проб и ошибок. Поэтому весьма перспективным считается развитие автоматических методов оптимизации правил обучения нейронных сетей. Развитие человеческих способностей к обучению от относительно слабых до весьма сильных свидетельствует о потенциальной возможности применения эволюционного подхода в процессе обучения искусственных нейронных сетей.

Схема хромосомного представления в случае эволюции правил обучения должна отражать динамические характеристики. Статические параметры (такие как архитектура или значения весов сети) кодировать значительно проще. Попытка создания универсальной схемы представления, которая позволила бы описывать произвольные виды динамических характеристик нейронной сети, заведомо обречена на неудачу, поскольку предполагает неоправданно большой объем вычислений, требуемых для просмотра всего пространства правил обучения. По этой причине на тип динамических характеристик обычно налагаются определенные ограничения, что позволяет выбрать общую структуру правила обучения. Чаще всего устанавливается, что для всех связей нейронной сети должно применяться одно и то же правило обучения, которое может быть задано функцией вида [47]

,             (4.18)

где  - время,  - приращение веса,  - так называемые локальные переменные,  - вещественные коэффициенты.

Главная цель эволюции правил обучения заключается в подборе соответствующих значений коэффициентов .

С учетом большого количества компонентов уравнения (4.18), что может сделать эволюцию слишком медленной и практически неэффективной, часто вводятся дополнительные ограничения, основанные на эвристических посылках [6].

Представим типовой цикл эволюции правил обучения

1) Декодирование каждой особи текущей популяции для описания правила обучения, которое будет использоваться в качестве алгоритма обучения нейронных сетей.

2) Формирование множества нейронных сетей со случайно сгенерированными архитектурами и начальными значениями весов, а также оценивание этих сетей с учетом их обучения по правилу, полученному на шаге 1, в категориях точности обучения или тестирования, длительности обучения, сложности архитектуры и т.п.

3) Расчет значения приспособленности каждой особи (закодированного правила обучения) на основе полученной на шаге 2 оценки каждой нейронной сети, что представляет собой своеобразный вид взвешенного усреднения.

4) Репродукция особей с вероятностью, соответствующей их приспособленности или рангу в зависимости от используемого метода селекции.

5) Формирование нового поколения в результате применения таких генетических операторов, как скрещивание, мутация и/или инверсия.

Блок-схема, иллюстрирующая эволюцию архитектур, представлена на рис. 4.122.

Рис. 4.122. Блок-схема генетического алгоритма для поиска наилучшего правила обучения (случай эволюции правил обучения).