Уравнение Беллмана для дискретных систем. Постановка задачи. Дискретная форма записи уравнения Беллмана. Стандартная процедура. Применение областей достижимости

Постановка задачи

Рассмотрим следующую задачу оптимального управления для непрерывной динамической системы.

Движение системы определяется векторным дифференциальным уравнением

где хт =1? х2, хп) — фазовый вектор; ит = (и1} и2,..., пт) — вектор управления. Управление удовлетворяет ограничению

При заданных начальных условиях

и фиксированном моменте окончания управляемого движения О нужно найти управление п(1, х(1)), обеспечивающее минимум терминального критерия качества:

Необходимое условие для минимума функционала (24.3) на основе метода динамического программирования сводится к решению следующего уравнения Беллмана:

где функция Беллмана V(t,x(t)) = min R(x(O)) удовлетворяет гра-и(т),С<т<в

ничному условию У(О,х(Ф)) = R(x($)). При численном решении уравнения (24.4) используется дискретная форма записи задачи и уравнения Беллмана.

Дискретная форма записи уравнения Беллмана

Всякий непрерывный процесс, описываемый векторным дифференциальным уравнением

на интервале [0,0], можно представить в виде разностного уравнения

где к изменяется от к = 0 до к = N, причем О = NA, где А — шаг дискретизации процесса. Уравнение (24.6) можно рассматривать как форму записи пошагового решения дифференциального уравнения (24.5) методом Эйлера.

Очевидно, что для определения x[(k + 1)А] по х(кА) можно использовать любой численный метод, поэтому разностное уравнение формально записывают в виде

имея в виду, что по значению t = kA, управлению u(t = kA) и вектору x(f = kA), используя какой-либо численный метод и выражение для вектора/(t, x(t), u(t)), можно однозначно вычислить х(к + 1). При заданных начальных условиях х(0) = х0 и дискретных значениях функции управления п(0), п(А), п(2А), ..., u(kA), ..., u[(N-l)A] разностное уравнение (24.7) имеет единственное решение.

Для задачи терминального управления функция Беллмана V(t, x(t)) записывается в виде

Если в исходной задаче критерий оптимальности

то функция Беллмана представляется в виде

где Щ,х(Г) ,и(Г)) означает приближенное вычисление интеграла

Теперь получим дискретную форму записи уравнения Веллмана (24.4) [4]. Допустим, что все значения оптимального управления п(/с), кроме последнего и(_Ы - 1), найдены и система находится в состоянии х(М - 1). Согласно принципу оптимальности Веллмана, управление п(ЛМ) должно быть также оптимальным в позиции {/V - 1, х(М - 1)}. Это управление должно доставлять минимум выражению (24.8):

Если есть интегральная часть функционала, то

Для определения Ум-1 необходимо провести минимизацию выражения в фигурных скобках по т переменным - 1), и2 - 1), ^(N-1).

В процессе минимизации находится вектор йОУ-1)как функция состояния х(М - 1).

Перейдем к предпоследнему участку, для которого начальная позиция имеет вид {М - 2, х(Ы - 2)}. Для последнего и предпоследнего участков функция Уд,_2 = (N-2, х(М - 2)) терминального функционала (24.4)

Для критерия (24.9)

На этом шаге определяется вектор й(М - 2).

Действуя далее аналогичным образом, получим рекуррентную формулу для определения на к-м шаге функции Уы_к и соответствующего ему оптимального управления й(Ы -к):

для терминального функционала (24.3) и

для смешанного функционала (24.9).

Оптимальное управление й(М - к) определяется как функция координат состояния системы й = й(М - к,х(М - к)).

Вычисляя по формулам (24.10), (24.11) последовательно значения функции Уы_к для к = 1, 2, ..., Ы, при к = N получим минимальное значение 70 функционала (24.3) или (24.9) соответственно на всей траектории. Одновременно с этим определяется оптимальное управление й(0),й(1),й(2),...,й(А-1), причем управление является функцией координат системы, т. е. решается задача синтеза оптимальной системы управления.

Указанная процедура решения задачи может быть в некоторых случаях выполнена аналитически. Если это невозможно, то ищется численное решение с помощью ЭВМ.

Пример аналитического решения задачи синтеза оптимального _ с!х

управления для объекта, описываемого уравнением —- = и - х с инте-1

тральным критерием качества У = |(х2 + п2)У1, рассмотрен в книге [4]. о

Рассмотрим численные методы для решения уравнения Беллмана на основе рекуррентной формулы (24.10).

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >