§ 2.14. Методы случайного поиска

Во всех регулярных итеративных методах поиска минимума  для получения текущей оценки  параметра  делается неслучайный шаг, однозначно определяемый либо значением градиента  при , либо значением самой функции .

В методах случайного поиска при переходе от  к  делается случайный шаг , где  - единичный случайный вектор, чаще всего равномерно распределенный в -мерной единичной сфере;  — величина шага. В этом случае

   (2.45)

Существуют различные модификации алгоритма (2.45). В этом алгоритме случайный шаг делается только в том случае, если , в противном случае система остается в предыдущем состоянии . В других алгоритмах, например, «с наказанием случайностью» случайный шаг делается только тогда, когда предыдущий шаг был неудачным, и т. д.

Наконец, если в регулярном градиентном алгоритме величину  сделать случайной, то мы также получим алгоритм случайного поиска:

,                                                (2.46)

где  — реализация случайной величины .

Следует заметить, что случайный шаг, не зависящий от абсолютного значения градиента функции или самой функции, помогает благополучно миновать хотя бы некоторые неглубокие локальные экстремумы функции.