稀疏的意思

符号argminargmax和压缩感知中的数学知识：稀疏、范数

本次说三个问题：

1、稀疏

2、范数

3、符号argmin

前⾯两个问题从矩阵理论的书籍中应该可以找到，最后⼀个问题从最优化类的书籍中应该可以找到。

=========================以下为正⽂=========================

1、稀疏：什么是K稀疏呢？

在压缩感知⾥经常提到“K稀疏”的概念，这个是很容易理解的：也就是对于长度为N的向量（实际上是指⼀个N维离散离值信号）来说，它

的N个元素值只有K个是⾮零的，其中K<

来说，只要除了这K个值其它的值很⼩很⼩，我们就认为向量是稀疏的，这时区别于严格K稀疏且就叫它K稀疏吧。

为什么要谈稀疏这个问题呢？因为如果信号是稀疏的，则它是可压缩的，也就是说⾥⾯那么多零，我只记录那些⾮零值及它的位置就好了。

当然，现实中的信号本⾝⼀般并不是稀疏的，但经过⼀个变换后，在⼀组基上⾯是稀疏的，这就是信号的稀疏表⽰。

稀疏性是压缩感知的前提。

2、范数||x||p

常见的有l0范数、l1范数、l2范数，经常要将l0范数等价为l1范数去求解，因为l1范数求解是⼀个凸优化问题，⽽l0范数求解是⼀个NP难问

题，这些后⾯慢慢再说。

l0范数指的是x中⾮零元素的个数，即x的稀疏度，如果x是K稀疏的，则l0范数等于K；

l1范数指的是x中所有元素模值的和

l2范数指的是x中所有元素模值平⽅的和再开⽅，这个带公式就可以了，它代表着距离的概念

还有⽆穷范数，指的是x中元素模的最⼤值

3、符号argmin

看压缩感知的参考⽂献最让我难受的是很多数学符号都不认识，更难受的是还不知道这些符号从什么书⾥可以找到。

压缩感知中常见如下表⽰：

s.t.表⽰受约束于，是“subjectto”的缩写。

为了说明argmin的含义，可以参见Wikipedia中对的解释：

argmax:In,argmaxstandsfortheargumentofthemaximum,thatistosay,thetofpointsofthegivenforwhichthegivenattainsits.

举三个例⼦⾃⼰体会⼀下就可以了：

argmin与其类似，琢磨⼀下就是了。

下⾯转⼀段话：（）

y=f(t)是⼀般常见的函数式，如果給定⼀个t值，f（t）函数式会赋⼀个值給y。

y=maxf(t)代表：y是f(t)函式所有的值中最⼤的output。

y=argmaxf(t)代表：y是f(t)函式中，会产⽣最⼤output的那个参数t。

看起来很模糊，举个例⼦应该⽐较好理解：

假设有⼀个函式f(t)，t的可能范围是{0,1,2}，f(t=0)=10;f(t=1)=20;f(t=2)=7，那分別对应的y如下：

y=maxf(t)=20

y=argmaxf(t)=1

这⼀块要好好说⼀说，因为这是压缩感知最基本的表⽰，是最常见的，但在不同的论⽂⾥⾯表⽰是不统⼀的：

a)焦李成，杨淑媛，刘芳，侯彪.压缩感知回顾与展望[J].电⼦学报，2011，39(7)：1651-1662.

b)⽯光明，刘丹华，⾼⼤化，刘哲，林杰，王良君.压缩感知理论及其进展[J].电⼦学报，2009，37(5)：1070-1081.

c)杨海蓉，张成，丁⼤为，韦穗.压缩传感理论与重构[J].电⼦学报，2011，39(1)：142-148.

在压缩感知理论⽅⾯，不管是⽤min还是argmin（⽂献ab与⽂献c区别），不管min下⾯有没有变量（⽂献a与⽂献b区别），其实表达的意思

都是⼀样的：

如果⽤0范数，则是求得满⾜后⾯约束条件的最稀疏的x(或θ)；

如果⽤1范数，则是求得满⾜后⾯约束条件的元素模值和最⼩的x(或θ)；

当然两种求法在满⾜⼀定条件下(RIP)是等价的，RIP⼜是另⼀回事了，慢慢以后再说吧。