(此贴最开始于 2007-7-21 20:23 发表在 prfans.com 上)
dodo
这篇文章是接着《dodo：人脸识别方法个人见解》，这个帖子主要是谈谈在上一篇中没有谈到或是一带而过的问题。和上一篇一样，还是就方法论方法。 1，kernel methods a. KPCA及其相关 kernel席卷PAMI领域的趋势还在加强。原因很简单，绝大多数的问题都能和kernel挂上钩。在人脸识别里，KPCA和KFA的影响力远不及PCA和LDA。就应用领域来说，KPCA也远没有PCA应用的广泛。YANG Jian在PAMI上的那个KPCA plus LDA就是子空间和kernel结合的典型论文。如果用作一般性的降维KPCA确实会比PCA效果好，特别是你用的feature空间不是一般的欧式空间的时候更为明显。所以，把LDA用在KPCA变换的空间里自然会比用在PCA变换的空间里效果好。 但是就降维来说，KPCA有一个严重的缺点，就是由它不能得到一个可表示的子空间，比如PCA也可以得到一组正交基作为表示基。当然，这也是kernel方法的本质属性导致的。这样就会限制kernel方法的应该范围。举个简单的例子，有人做过用PCA来给SIFT特征降维的方法，也就是那个SIFT+PCA，但他们没有用KPCA+SIFT。就原理上来说，KPCA更适合给SIFT降维，但是在实际应用中，对于SIFT来说，如果需要降维的话，用来降维的东西必须事先学好，PCA就可以事先通过大量的自然图片来学习一个子空间。但是，KPCA做不到。虽然有out-of-sample的方法，但是这种方法有明显的缺点：如果训练样本过大，KPCA的kernel矩阵就很大，这样就很不方便应用，如果过小，效果又不好。其实这也是这类kernel方法的通病（不是一般）。 b. regression regression也是分类常用的一种方法。CVPR'07就有一篇Kernel ridge regression。 regression用来分类的原理很简单，但是他和传统的LDA等类似的方法有着明显的区别。就ridge regression来说，它就是要找一个变换，使样本在变换后的空间里和他们本身的label尽量接近，那末这个学到的变换就在最小二乘意义下尽量好的刻画了样本空间的类结构。一般的，对变换函数（离散就是向量或是矩阵）做一个l2范数上的限制，美其名曰保证函数的smooth（这个下面还会再谈）。这样就可以得到一个形式上较为美的闭解。其实根本不用kernelizaton，regression本身就可以和kernel直接挂上钩，因为求出来变换矩阵在一定限制下就可以看成kernel矩阵（YE Jieping CVPR‘07的metric learning中就用到了类似的思想）。这个和用graph Laplacian做ranking的方法非常相似。Laplacian（或是其简单变形）的逆矩阵如果是正定的，那末就把这个逆看作kernel矩阵。那末和kernel直接相关的方法和思路就用上来了，特别是learning中，种类繁杂。 把ridge regression核化的全部技术含量就在计算的trick上。由于把样本映射到Hilbert空间中只是一个虚的表示，在出现内积的情况下才能写成现实的表达式，所以对于kernel方法来说，计算上的trick要求就比较高。但是，往往这类trick都是在统计和矩阵早已被解决的问题，所以大部分工作就是怎样用好而已。 像这样“借壳还魂”的做法，在很多理论的研究上都非常重要。我们要达到我们的目的，但是这个东西又不是直接可表达的，那末就可以把它放到一定的空间中，按照这个空间中的基本原理来计算，最后到达一个可以表达的形式，而且是按照你的
