1. 模式识别的主要方法

数据聚类：用某种相似性方法将原始数据组织成有意义的数据集合（非监督）
统计分类：概念驱动，基于概率统计模型得到各个类别特征向量的分布（有监督）
结构模式识别：通过考虑识别对象各个部分之间的联系来达到识别分类的目的,句法模式识别
神经网络：（监督、非监督）

模式识别系统基本构成：

预处理：去除噪声，数据复原，提取有用信息等
特征提取和选择：对原始数据进行变换，得到最能反映本质的特征
- 测量空间：原始数据组成的空间
- 特征空间：分类识别赖以进行的空间
- 模式表示：维数较高的测量空间->维数较低的特征空间
分类决策：在特征空间用模式识别方法把被识别对象归于某一类别【基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小】

2. 预备知识

2.1 概率统计

1、随机向量

如果一个对象的随机观察值为，它可以构成一个n维特
$$
{x_1,x_2,……x_n}
$$
征向量x，即：
$$
x={x_1,x_2,……x_n}^T
$$
一个特征可以看作n维空间中的向量或点，此空间称为模式的特征空间
$$
R^n
$$

期望

$$
E(x)=(E(x_1),E(x_2),……E(x_n))^T
$$

方差

$$
Var(x)=\frac{1}{m}\sum_{i=1}^{n}({x_i-\mu})^2
$$

协方差矩阵

$$
cov(x)=\begin{pmatrix}
cov(x_1,x_1)&cov(x_1,x_2)&……&cov(x_1,x_n)\
cov(x_2,x_1)&cov(x_2,x_2)&……&cov(x_2,x_n)\
……\
cov(x_n,x_1)&cov(x_n,x_2)&……&cov(x_n,x_n)\
\end{pmatrix}
$$

2、一维正态分布密度函数
$$
\rho(x)=\frac{1}{\sqrt{2Π}\sigma}exp{\frac{-(x-\mu)^2}{2{\sigma}^2}}
$$
3、多维正态分布密度函数

$$
\rho(x)=\frac{1}{\sqrt{2Π}\sqrt{C}}exp{\frac{-(x-\mu)^TC^{-1}{(x-\mu)}}{2}}
$$

2.2 线性代数

1、向量

2、内积、点积（1xd）· (1xd)=（1x1）

3、向量长度（欧几里得范数（1x1））

4、正交
$$
x^Ty=0
$$

5、向量之间的夹角

略

投影（略）

6、矩阵：

矩阵乘法
矩阵的幂
矩阵的转置
对称矩阵（方阵）
逆矩阵
特征向量
特征值det(A)=特征值和
矩阵的迹tr=对角线元素之和=特征值之和
实对称矩阵（每个数都是实数）

性质
- 所有特征值都是实数、特征向量都是实向量
- 特征值：
$$
\lambda_1>=\lambda_2>=\lambda_3……\lambda_n
$$
- 对应的特征向量两两相交
- F=[特征向量1，特征向量2……]nxn是满秩的