计算机视觉中的信号处理与模式识别
⼀共分三章，分别讲述信号处理与模式识别，图像处理与分析以及计算机视觉。与其说是讲述，不如说是⼀些经典⽂章的罗列以及⾃⼰的简单点评。与前⼀个版本不同的是，这次把所有的⽂章按类别归了类，并且增加了很多⽂献。分类的时候并没有按照传统的分类⽅法，⽽是划分成了⼀个个⼩的门类，⽐如SIFT，Harris都作为了单独的⼀类，虽然它们都可以划分到特征提取⾥⾯去。这样做的⽬的是希望能突出这些⽐较实⽤且⽐较流⾏的⽅法。为了以后维护的⽅便，按照字母顺序排的序。
1. Boosting
Boosting是最近⼗来年来最成功的⼀种模式识别⽅法之⼀，个⼈认为可以和SVM并称为模式识别双⼦星。它真正实现了“三个臭⽪匠，赛过诸葛亮”。只要保证每个基本分类器的正确率超过50%，就可以实现组合成任意精度的分类器。这样就可以使⽤最简单的线性分类器。Boosting在计算机视觉中的最成功的应⽤⽆疑就是Viola-Jones提出的基于Haar特征的⼈脸检测⽅案。听起来似乎不可思议，
但Haar+Adaboost确实在⼈脸检测上取得了巨⼤的成功，已经成了⼯业界的事实标准，并且逐步推⼴到其他物体的检测。
Rainer Lienhart在2002 ICIP发表的这篇⽂章是Haar+Adaboost的最好的扩展，他把原始的两个⽅向的Ha
女生熬夜的坏处ar特征扩展到了四个⽅向，他本⼈是OpenCV积极的参与者。现在OpenCV的库⾥⾯实现的Cascade Classification就包含了他的⽅法。这也说明了盛会
（如ICIP，ICPR，ICASSP）也有好⽂章啊，只要⽤⼼去发掘。
[1997] A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting
[1998] Boosting the margin A new explanation for the effectiveness of voting methods
[2002 ICIP TR] Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection
[2003] The Boosting Approach to Machine Learning An Overview
[2004 IJCV] Robust Real-time Face Detection
2. Clustering
聚类主要有K均值聚类，谱聚类和模糊聚类。在聚类的时候如果⾃动确定聚类中⼼的数⽬是⼀个⼀直没有解决的问题。不过这也很正常，评价标准不同，得到的聚类中⼼数⽬也不⼀样。不过这⽅⾯还是
有⼀些可以参考的⽂献，在使⽤的时候可以基于这些⽅法设计⾃⼰的准则。关于聚类，⼀般的模式识别书籍都介绍的⽐较详细，不过关于cluster validity讲的⽐较少，可以参考下⾯的⽂章看看。
[1989 PAMI] Unsupervid Optimal Fuzzy Clustering
[1991 PAMI] A validity measure for fuzzy clustering
[1995 PAMI] On cluster validity for the fuzzy c-means model其曲中规的中
[1998] Some New Indexes of Cluster Validity
[1999 ACM] Data Clustering A Review
[1999 JIIS] On Clustering Validation Techniques
顾城远和近[2001] Estimating the number of clusters in a datat via the Gap statistic
[2001 NIPS] On Spectral Clustering
[2002] A stability bad method for discovering structure in clustered data
[2007] A tutorial on spectral clustering
3. Compressive Sensing
最近⼤红⼤紫的压缩感知理论。
自动档位[2006 TIT] Compresd Sensing
[2008 SPM] An Introduction to Compressive Sampling
[2011 TSP] Structured Compresd Sensing From Theory to Applications
4. Decision Trees
对决策树感兴趣的同学这篇⽂章是⾮看不可的了。
[1986] Introduction to Decision Trees
5. Dynamical Programming
动态规划也是⼀个⽐较使⽤的⽅法，这⾥挑选了⼀篇PAMI的⽂章以及⼀篇Book Chapter
[1990 PAMI] using dynamic programming for solving variational problems in vision
[Book Chapter] Dynamic Programming
6. Expectation Maximization
EM是计算机视觉中⾮常常见的⼀种⽅法，尤其是对参数的估计和拟合，⽐如⾼斯混合模型。EM和GMM在Bishop的PRML⾥单独的作为⼀章，讲的很不错。关于EM的tutorial，⽹上也可以搜到很多。
[1977] Maximum likelihood from incomplete data via the EM algorithm
[1996 SPM] The Expectation-Maximzation Algorithm
7. Graphical Models圆的表面积
伯克利的乔丹⼤师的Graphical Model，可以配合这Bishop的PRML⼀起看。
[1999 ML] An Introduction to Variational Methods for Graphical Models
8. Hidden Markov Model
HMM在语⾳识别中发挥着巨⼤的作⽤。在信号处理和图像处理中也有⼀定的应⽤。最早接触它是跟⼩波和检索相关的，⽤HMM来描述⼩波系数之间的相互关系，并⽤来做检索。这⾥提供⼀篇1989年的
经典综述，⼏篇HMM在⼩波，分割，检索和纹理上的应⽤以及⼀本⽐较早的中⽂电⼦书，现在也不知道作者是谁，在这⾥对作者表⽰感谢。
[1989 ] A tutorial on hidden markov models and lected applications in speech recognition
[1998 TSP] Wavelet-bad statistical signal processing using hidden Markov models
[2001 TIP] Multiscale image gmentation using wavelet-domain hidden Markov models
[2002 TMM] Rotation invariant texture characterization and retrieval using steerable wavelet-domain hidden Markov models [2003 TIP] Wavelet-bad texture analysis and synthesis using hidden Markov models
Hmm Chine book.pdf
9. Independent Component Analysis
同PCA⼀样，独⽴成分分析在计算机视觉中也发挥着重要的作⽤。这⾥介绍两篇综述性的⽂章，最后⼀篇是第⼆篇的TR版本，内容差不多，但⽐较清楚⼀些。
[1999] Independent Component Analysis A Tutorial
[2000 NN] Independent component analysis algorithms and applications
统筹的拼音[2000] Independent Component Analysis Algorithms and Applications
10. Information Theory
计算机视觉中的信息论。这⽅⾯有⼀本很不错的书Information Theory in Computer Vision and Pattern Recognition。这本书有电⼦版，如果需要⽤到的话，也可以参考这本书。
[1995 NC] An Information-Maximization Approach to Blind Separation and Blind Deconvolution
[2010] An information theory perspective on computational vision
11. Kalman Filter
这个话题在张贤达⽼师的现代信号处理⾥⾯讲的⽐较深⼊，还给出了⼀个有趣的例⼦。这⾥列出了Kalman的最早的论⽂以及⼏篇综述，还有Unscented Kalman Filter。同时也有⼀篇Kalman Filter在跟踪中的应⽤以及两本电⼦书。
[1960 Kalman] A New Approach to Linear Filtering and Prediction Problems Kalman
[1970] Least-squares estimation_from Gauss to Kalman
[1997 SPIE] A New Extension of the Kalman Filter to Nonlinear System
[2000] The Unscented Kalman Filter for Nonlinear Estimation
[2001 Siggraph] An Introduction to the Kalman Filter_full
[2003] A Study of the Kalman Filter applied to Visual Tracking
12. Pattern Recognition and Machine Learning
模式识别名⽓⽐较⼤的⼏篇综述
[2000 PAMI] Statistical pattern recognition a review
[2004 CSVT] An Introduction to Biometric Recognition
[2010 SPM] Machine Learning in Medical Imaging
13. Principal Component Analysis
著名的PCA，在特征的表⽰和特征降维上⾮常有⽤。少阴石
[2001 PAMI] PCA versus LDA
[2001] Nonlinear component analysis as a kernel eigenvalue problem
[2002] A Tutorial on Principal Component Analysis
[2009] A Tutorial on Principal Component Analysis
[2011] Robust Principal Component Analysis
[Book Chapter] Singular Value Decomposition and Principal Component Analysis
14. Random Forest
随机森林上水船
[2001 ML] Random Forests
15. RANSAC
随机抽样⼀致性⽅法，与传统的最⼩均⽅误差等完全是两个路⼦。在Sonka的书⾥⾯也有提到。
[2009 BMVC] Performance Evaluation of RANSAC Family
16. Singular Value Decomposition
对于⾮⽅阵来说，就是SVD发挥作⽤的时刻了。⼀般的模式识别书都会介绍到SVD。这⾥列出了K-SVD以及⼀篇Book Chapter
[2006 TSP] K-SVD An Algorithm for Designing Overcomplete Dictionaries for Spar Reprentation
[Book Chapter] Singular Value Decomposition and Principal Component Analysis
17. Spar Reprentation
这⾥主要是Proceeding of IEEE上的⼏篇⽂章
[2009 PAMI] Robust Face Recognition via Spar Reprentation
[2009 PIEEE] Image Decomposition and Separation Using Spar Reprentations An Overview
[2010 PIEEE] Dictionaries for Spar Reprentation Modeling
[2010 PIEEE] It's All About the Data
[2010 PIEEE] Matrix Completion With Noi
[2010 PIEEE] On the Role of Spar and Redundant Reprentations in Image Processing
[2010 PIEEE] Spar Reprentation for Computer Vision and Pattern Recognition
[2011 SPM] Directionary Learning
18. Support Vector Machines
[1998] A Tutorial on Support Vector Machines for Pattern Recognition
[2004] LIBSVM A Library for Support Vector Machines
19. Wavelet
在⼩波变换之前，时频分析的⼯具只有傅⽴叶变换。众所周知，傅⽴叶变换在时域没有分辨率，不能捕捉局部频域信息。虽然短时傅⽴叶变换克服了这个缺点，但只能刻画恒定窗⼝的频率特性，并且不能很好的扩展到⼆维。⼩波变换的出现很好的解决了时频分析的问题，作为⼀种多分辨率分析⼯具，
在图像处理中得到了极⼤的发展和应⽤。在⼩波变换的发展过程中，有⼏个⼈是不得不提的，Mallat，Daubechies，Vetteri， M.N.Do， Swelden，Donoho。Mallat和Daubechies奠定了第⼀代⼩波的框架，他们的著作更是⼩波变换的必读之作，相对来说，⼩波⼗讲太偏数学了，⽐较难懂。⽽Mallat的信号处理的⼩波导引更偏应⽤⼀点。Swelden提出了第⼆代⼩波，使⼩波变换能够快速⽅便的实现，他的功劳有点类似于FFT。⽽Donoho，Vetteri，Mallat及其学⽣们提出了Ridgelet, Curvelet,
Bandelet,Contourlet等⼏何⼩波变换，让⼩波变换有了⽅向性，更便于压缩，去噪等任务。尤其要提的是M.N.Do，他是⼀个越南⼈，得过IMO的银牌，在这个领域著作颇丰。我们国家每年都有5个左右的IMO⾦牌，希望也有⼀两个进⼊这个领域，能够也让我等也敬仰⼀下。⽽不是⼀股脑的都进⼊⾦融，管理这种跟数学没有多⼤关系的⾏业，呵呵。很希望能看到中国的陶哲轩，中国的M.N.Do。
说到⼩波，就不得不提JPEG2000。在JPEG2000中使⽤了Swelden和Daubechies提出的⽤提升算法实现的9/7⼩波和5/3⼩波。如果对⽐JPEG和JPEG2000，就会发现JPEG2000⽐JPEG在性能⽅⾯有太多的提升。本来我以为JPEG2000的普及只是时间的问题。但现在看来，这个想法太Naive了。现在已经过去⼗⼏年了，JPEG2000依然没有任何出头的迹象。不得不说，⼯业界的惯性⼒量太强⼤了。如果以前的东西没有什么硬伤的话，想改变太难了。不巧的是，JPEG2000的种种优点在最近的硬件上已经有了很⼤的提升。压缩率？现在动
辄1T，2T的硬盘，没⼈太在意压缩率。渐进传输？现在的⽹速包括⽆线传输的速度已经相当快了，渐进传输也不是什么优势。感觉现在做图像压缩越来越没有前途了，从最近的会议和期刊⽂档也可以看出这个趋势。不管怎么说，JPEG2000的Overview还是可以看看的。
[1989 PAMI] A theory for multiresolution signal decomposition__the wavelet reprentation
[1996 PAMI] Image Reprentation using 2D Gabor Wavelet
[1998 ] FACTORING WAVELET TRANSFORMS INTO LIFTING STEPS
[1998] The Lifting Scheme_ A Construction Of Second Generation Wavelets
[2000 TCE] The JPEG2000 still image coding system_ an overview
[2002 TIP] The curvelet transform for image denoising
[2003 TIP] Gray and color image contrast enhancement by the curvelet transform
[2003 TIP] Mathematical Properties of the jpeg2000 wavelet filters
[2003 TIP] The finite ridgelet transform for image reprentation
[2005 TIP] Spar Geometric Image Reprentations With Bandelets
[2005 TIP] The Contourlet Transform_ An Efficient Directional Multiresolution Image Reprentation [2010 SPM] The Curvelet Transform
