卡罗需-库恩-塔克 KKT

KKT 条件的背景 ▹

KKT 条件的组成部分 ▹

卡罗需-库恩-塔克条件（Karush-Kuhn-Tucker conditions，简称 KKT 条件）是优化理论中的一组必要条件，广泛应用于约束优化问题，尤其是在非线性规划中。KKT 条件是拉格朗日乘数法的推广，适用于具有不等式约束的优化问题。

KKT 条件的背景

在优化问题中，我们通常希望最小化一个目标函数f(x) ，同时满足一些约束条件。一般形式如下：

minimizef(x)

gᵢ(x) ≤ 0，i＝1，. . .，m(不等式约束)

hⱼ(x)＝0，j＝1，. . .，p(等式约束)

其中，gᵢ(x) 是不等式约束， hⱼ 是等式约束。

KKT 条件的组成部分

对于上述优化问题，KKT 条件包括以下几个部分：

1. 可行性条件：

• 约束条件必须满足： gᵢ(x*) ≤ 0，hⱼ(x*)＝0

2. 拉格朗日函数：

• 定义拉格朗日函数：

ₘ ₚ

L(x，λ，ν)＝f(x)＋∑λᵢgᵢ(x)＋∑νⱼhⱼ(x)

ᵢ₌₁ ⱼ₌₁

• 其中 λi​ 是与不等式约束相关的拉格朗日乘数，νj​ 是与等式约束相关的拉格朗日乘数。

3.梯度条件：

• 在最优点 x* 处，拉格朗日函数的梯度必须为零： ∇ₓL(x*，λ*，ν*)＝0

4.互补松弛条件：

• 对于每个不等式约束，乘数和约束的乘积必须为零： λᵢgᵢ(x*)＝0，∀i

这意味着如果某个约束是紧的（即 gᵢ(x*)＝0 ），则相应的拉格朗日乘数 λᵢ 可以是正的；如果约束不紧（即 gᵢ(x*)＜0 ），则 λᵢ 必须为零。

5.拉格朗日乘数的非负性：

• 对于所有的不等式约束，拉格朗日乘数必须非负： λᵢ＞0，∀i