Выпуклая оптимизация - теорема Вейерштрасса

Пусть S - непустое, замкнутое и ограниченное множество (также называемое компактным множеством) в $ \ mathbb {R} ^ n $ и пусть $ f: S \ rightarrow \ mathbb {R} $ - непрерывная функция на S, тогда задача min $ \ left \ {f \ left (x \ right): x \ in S \ right \} $ достигает своего минимума.

Доказательство

Поскольку S непусто и ограничено, существует нижняя граница.

$ \ alpha = Inf \ left \ {f \ left (x \ right): x \ in S \ right \} $

Теперь пусть $ S_j = \ left \ {x \ in S: \ alpha \ leq f \ left (x \ right) \ leq \ alpha + \ delta ^ j \ right \} \ forall j = 1,2, ... $ и $ \ delta \ in \ left (0,1 \ right) $

По определению infimium, $ S_j $ непусто для каждого $ j $.

Выберите несколько $ x_j \ in S_j $, чтобы получить последовательность $ \ left \ {x_j \ right \} $ для $ j = 1,2, ... $

Поскольку S ограничена, последовательность также ограничена, и существует сходящаяся подпоследовательность $ \ left \ {y_j \ right \} $, которая сходится к $ \ hat {x} $. Следовательно, $ \ hat {x} $ - предельная точка и S замкнута, следовательно, $ \ hat {x} \ in S $. Поскольку f непрерывно, $ f \ left (y_i \ right) \ rightarrow f \ left (\ hat {x} \ right) $.

Поскольку $ \ альфа \ leq f \ left (y_i \ right) \ leq \ alpha + \ delta ^ k, \ alpha = \ displaystyle \ lim_ {k \ rightarrow \ infty} f \ left (y_i \ right) = f \ left ( \ hat {x} \ right) $

Таким образом, $ \ hat {x} $ - минимизирующее решение.

Замечания

Для выполнения теоремы Вейерштрасса есть два важных необходимых условия. Это следующие -

• Step 1 - Множество S должно быть ограниченным.

  Рассмотрим функцию f \ left (x \ right) = x $.

  Это неограниченное множество, и у него есть минимумы в любой точке своей области.

  Таким образом, для получения минимумов S должно быть ограничено.

• Step 2 - Множество S следует замкнуть.

  Рассмотрим функцию $ f \ left (x \ right) = \ frac {1} {x} $ в области \ left (0,1 \ right).

  Эта функция не замкнута в данной области и ее минимумов также не существует.

  Следовательно, для получения минимумов S должна быть замкнута.