凸最適化-イェンセンの不等式

Sを$ \ mathbb {R} ^ n $と$ f:S \ rightarrow \ mathbb {R} ^ n $の空でない凸集合とします。次に、各整数$ k> 0 $の場合に限り、fは凸です。

$ x_1、x_2、... x_k \ in S、\ displaystyle \ sum \ limits_ {i = 1} ^ k \ lambda_i = 1、\ lambda_i \ geq 0、\ forall i = 1,2、s、k $、 $ f \ left(\ displaystyle \ sum \ limits_ {i = 1} ^ k \ lambda_ix_i \ right)\ leq \ displaystyle \ sum \ limits_ {i = 1} ^ k \ lambda _if \ left(x \ right) $

証明

kの帰納法による。

$ k = 1:x_1 \ in S $したがって、$ \ lambda_i = 1 $であるため、$ f \ left(\ lambda_1 x_1 \ right)\ leq \ lambda_i f \ left(x_1 \ right)$。

$ k = 2:\ lambda_1 + \ lambda_2 = 1 $および$ x_1、x_2 \ in S $

したがって、$ \ lambda_1x_1 + \ lambda_2x_2 \ in S $

したがって、定義上、$ f \ left(\ lambda_1 x_1 + \ lambda_2 x_2 \ right)\ leq \ lambda _1f \ left(x_1 \ right)+ \ lambda _2f \ left(x_2 \ right)$

$ n <k $の場合にステートメントが真であるとします

したがって、

$ f \ left(\ lambda_1 x_1 + \ lambda_2 x_2 + .... + \ lambda_k x_k \ right)\ leq \ lambda_1 f \ left(x_1 \ right)+ \ lambda_2 f \ left(x_2 \ right)+ ... + \ lambda_k f \ left(x_k \ right)$

$ k = n + 1:$ $ x_1、x_2、.... x_n、x_ {n + 1} \ in S $および$ \ displaystyle \ sum \ limits_ {i = 1} ^ {n + 1} = 1 $

したがって、$ \ mu_1x_1 + \ mu_2x_2 + ....... + \ mu_nx_n + \ mu_ {n + 1} x_ {n + 1} \ in S $

したがって、$ f \ left(\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n + \ mu_ {n + 1} x_ {n + 1} \ right)$

$ = f \ left(\ left(\ mu_1 + \ mu_2 + ... + \ mu_n \ right)\ frac {\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n} {\ mu_1 + \ mu_2 + \ mu_3} + \ mu_ {n + 1} x_ {n + 1} \ right)$

$ = f \ left(\ mu_y + \ mu_ {n + 1} x_ {n + 1} \ right)$ここで、$ \ mu = \ mu_1 + \ mu_2 + ... + \ mu_n $および

$ y = \ frac {\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n} {\ mu_1 + \ mu_2 + ... + \ mu_n} $および$ \ mu_1 + \ mu_ {n + 1} = 1、y \ in S $

$ \ Rightarrow f \ left(\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n + \ mu_ {n + 1} x_ {n + 1} \ right)\ leq \ mu f \ left(y \ right)+ \ mu_ {n +1} f \ left(x_ {n + 1} \ right)$

$ \ Rightarrow f \ left(\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n + \ mu_ {n + 1} x_ {n + 1} \ right)\ leq $

$ \ left(\ mu_1 + \ mu_2 + ... + \ mu_n \ right)f \ left(\ frac {\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n} {\ mu_1 + \ mu_2 + ... + \ mu_n} \ right) + \ mu_ {n + 1} f \ left(x_ {n + 1} \ right)$

$ \ Rightarrow f \ left(\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n + \ mu_ {n + 1} x_ {n + 1} \ right)\ leq \ left(\ mu_1 + \ mu_2 + ... + \ mu_n \右)$

$ \ left [\ frac {\ mu_1} {\ mu_1 + \ mu_2 + ... + \ mu_n} f \ left(x_1 \ right)+ ... + \ frac {\ mu_n} {\ mu_1 + \ mu_2 + ... + \ mu_n} f \ left(x_n \ right)\ right] + \ mu_ {n + 1} f \ left(x_ {n + 1} \ right)$

$ \ Rightarrow f \ left(\ mu_1x_1 + \ mu_2x_2 + ... + \ mu_nx_n + \ mu_ {n + 1} x_ {n + 1} \ right)\ leq \ mu_1f \ left(x_1 \ right)+ \ mu_2f \ left( x_2 \ right)+ .... $

したがって、証明されました。